内容生成

描述

使用聊天补全模型为给定请求生成聊天响应。

项目兼容性

Windows | 跨平台

配置

• 连接 ID - 在 Integration Service 中建立的连接。 访问下拉菜单以选择、添加或管理连接。

• “模型名称”- 要使用的模型或部署的名称或 ID。 此活动默认使用具有最高质量观察到的输出的模型。 但是，您可以根据所需的输出和测试选择不同的模型。 切换模型可能会影响输出。
• 提示词 - 用户发出聊天补全请求的用户提示词。此字段支持 String 类型的输入。
  注意：要将图像附加到自定义提示词中，请使用“图像分析”活动。
• PII 检测 - 是否从输入提示词中检测 PII。这是布尔值。默认值为 False。
  • PII 筛选 - 如果设置为 True，则在将检测到的任何 PII/PHI 发送给 LLM 之前，都将对其进行掩码处理。输出质量可能会受到影响。如果设置为 False，则提示词中包含检测到的 PII。在这两种情况下，检测到的 PII 都将在输出中可用。如果“PII 检测”设置为 True，则会显示此字段。
  • PII 语言 - 要接受扫描 PII 的提示词输入和输出的语言。从可用的下拉列表中选择一种语言。如果“PII 检测”设置为 True，则会显示此字段。
  • PII/PHI 类别 - 要分析的可选 PII/PHI 类别。如果未设置，则系统将审核所有类别。如果“PII 检测”设置为 True，则会显示此字段。
• 系统提示词 - 聊天补全请求的系统提示词或上下文指令。此字段支持 String 类型的输入。
• 上下文基础- 在上下文中基础提示，以提高输出的质量和准确性。 此功能允许您将专有业务逻辑和知识插入到提示中。 您可以引用已上传文档的 Orchestrator 存储桶，也可以直接上传文件以供一次性使用。 从下拉菜单中选择一个可用选项：“无”、“现有索引”、“文件资源”。
  • 现有索引选项:
    • “ Orchestrator 文件夹” - 此为 Orchestrator 文件夹，其中包含要基于上下文的索引。 此文件夹必须为共享文件夹。 按名称搜索或从该租户中许可的 Orchestrator 文件夹的下拉列表中选择。 使用强制刷新按钮检索最新的文件夹。
    • 索引- 提示所基于的索引的名称或 ID。 从可用的下拉列表中选择一个索引。
  • “文件资源”选项：
    • “文件” - 单击以使用变量。 此字段支持IResource型输入。
      注意：此字段的文件大小限制为 30MB。 对于较大的文件，请将数据上传到 Orchestrator 并使用 AI Trust Layer 创建索引。 支持的格式：PDF、JSON、CSV、DOCS、JSON、TXT。
• 结果数- 指示要返回的结果数。 此字段支持Int64型输入。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。 您可以选择字段以将其添加到活动画布中。 添加的标准或自定义字段可在“属性”面板（在 Studio Desktop 中）或在“显示其他属性”下（在 Studio Web 中）下找到。

其他属性

• PII 置信度分数 - 符合 PII 条件并进行删除所需的最低置信度分数。如果“PII 检测”设置为 True，则会显示此字段。
• 最大令牌数 - 补全时要生成的最大令牌数。提示的令牌计数加上来自结果/补全的令牌计数不能超过为此字段提供的值。最好将此值设置为小于模型最大计数的值，以便为提示令牌计数留出一些空间。默认值为 1024。如果未设置，则活动默认设置为满足请求的必要令牌或模型允许的最大令牌数。此字段支持 Int64 类型的输入。
• 温度 - 要使用的创意因素或采样温度的值。值越高意味着模型将承担越大的风险。对于更具创意的响应或补全情况，请尝试使用 0.9，对于具有明确定义或更精确答案的响应或补全情况，尝试使用 0，这也称为贪婪 (argmax) 采样。一般建议是更改此值或“核心采样”值的默认值，但不要同时更改两个值。默认值为 0。
• 频率罚分 - 介于 -2.0 和 2.0 之间的数字。正值根据文本中的现有频率对新标记给出罚分，从而降低模型逐字重复同一行的可能性。默认值为 0。
• 存在罚分 - 介于 -2.0 和 2.0 之间的数字。正值根据新令牌到目前为止是否出现在文本中来对新令牌给出罚分，从而增加模型谈论新主题的可能性。默认值为 0。
• 补全选择计数 - 要为请求生成的补全选项数量。此字段的值越大，使用的令牌数量就越多。这会导致更高的成本，因此您在设置此字段的值时需要注意这一点。默认值为 1。
• 停止序列 - 最多四个序列，API 将停止在其中生成更多令牌。返回的文本不包含停止序列。默认值为 null。

输出

• 热门生成文本 - 生成的文本。
• 掩码测试 - 该字段表示输入提示词，其中任何潜在的 PII 数据均已替换为掩码占位符。
• 内容生成 - 此输出包含完整的嵌套响应对象，包括有关补全、所用模型和 PII 检测结果的其他详细信息。
• 引用字符串- 上下文基础引用字符串。

如何使用内容生成

“内容生成”活动使您可以灵活地与 Studio、Studio Web 或 Apps 中的自定义提示词交互以及将 LLM 生成的响应插入到这些响应中。通过在提示词中插入参数和变量，您可以完成一个动态提示词模板，该模板通过连接器、Orchestrator 队列项目等从热门业务应用程序拉取数据。这可帮助您构建适合独特用例、有意义且可扩展的自动化。

重要提示：您可以选择要用于内容生成的模型，构建提示词，识别和隐藏 PII/PHI 数据，以及使用提供一定确定性输出的高级模型选项。重要的是，LLM 并不具有确定性。您需要遍历提示词，并通过日志记录、外部验证任务 (Action Center) 和测试来监控输出。内容生成的可配置性很高，但在部署到生产中之前需要测试和监控。

上下文基础参数用于启用上下文基础。 您可以选择以下两个选项之一：

• 现有索引：引用已创建索引的索引名称。 这将对该索引中的数据集执行 RAG。 这是典型的用例：查询多个文档或文件。
• 文件资源：使用即时上传到活动的文件，而“上下文基础”可使即时 RAG 或内存中 RAG 查询该特定文档。您只能在此处上传一个文档，适用于基于摘要的用例。

“结果数”参数表示“上下文基础”根据语义相似度分数搜索和检索的热门结果的数量。这些结果表示数据块（页面），然后会被传递到提示词的上下文窗口中，作为证明提示词和相关生成式内容的证据。您可以将此数量增加到模型上下文窗口的上限。如果输出未产生预期/高质量的结果，则可能需要执行此操作。

要了解有关使用上下文基础的更多信息，请参阅关于上下文基础。