内容生成

描述

使用会话补全模型为给定的请求生成会话响应。

项目兼容性

Windows | 跨平台

配置

• 连接 ID - 在 Integration Service 中建立的连接。 访问下拉菜单以选择、添加或管理连接。

• 模型名称- 要使用的生成式 AI 模型或 ID。 此活动默认使用具有最高质量观察到的输出的模型。 但是，您可以根据所需的输出和测试选择不同的模型。 切换模型可能会影响输出。
• “提示” - 会话补全请求的用户提示。 此字段支持String类型输入。
• PII 检测- 是否从输入提示中检测 PII。 布尔值。 默认值为 False。
  • PII 筛选- 如果设置为“True”，则在将检测到的任何 PII/PHI 发送给 LLM 之前，都会对其进行掩码处理。 输出质量可能会受到影响。 如果设置为 False，检测到的 PII 将包含在提示中。 在这两种情况下，输出中都会提供检测到的 PII。 如果PII 检测设置为“True”，则会显示此字段。
  • PII 语言- 扫描 PII 的提示输入和输出的语言。 从可用下拉列表中选择一种语言。 如果PII 检测设置为“True”，则会显示此字段。
  • PII/PHI 类别- 要分析的可选 PII/PHI 类别。 如果未设置，则审核所有类别。 如果PII 检测设置为“True”，则会显示此字段。
• 系统提示- 会话补全请求的系统提示或上下文指令。 此字段支持String类型输入。
• 上下文基础（公开预览版） - 将现有索引（Orchestrator 存储桶）或文件中的上下文插入到提示中。 从下拉菜单中选择一个可用选项：“无”、“现有索引”、“文件资源”。
  • “索引 (公开预览版) ”- 要引用的索引的名称。 如果将上下文基础设置为现有索引，则会显示此字段。 该字段支持String类型输入。
  • “文件” - 单击以使用变量。 此字段支持IResource型输入。 如果将 “上下文基础”设置为 “文件资源”，则会显示此字段。
    注意：此字段的文件大小限制为 30MB。 对于较大的文件，请将数据上传到 Orchestrator 并使用 “索引并提取”（公开预览版）活动创建索引。

    当前支持的格式: PDF、JSON 和 CSV。

  • 结果数量（公开预览） - 指示要返回的结果数量。 此字段支持Int64型输入。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。 您可以选择字段以将其添加到活动画布中。 添加的标准或自定义字段可在“属性”面板（在 Studio Desktop 中）或在“显示其他属性”下（在 Studio Web 中）下找到。

其他属性

• PII 置信度分数- 成为 PII 并进行编辑所需的最低置信度分数。 如果PII 检测设置为“True”，则会显示此字段。
• 最大令牌计数- 要在补全中生成的最大令牌数。 提示的令牌计数加上结果/完成中的令牌计数不能超过为此字段提供的值。 最好将此值设置为小于模型的最大计数，以便为提示令牌计数留出一些空间。 默认值为 1024。 此字段支持Int64类型输入。
• 温度- 要使用的创意因子或采样温度的值。 值越高意味着模型将承担更多的风险。 对于更具创意的响应或完成情况，请尝试 0.9，对于具有明确定义或更精确答案的响应或完成情况，尝试使用 0（也称为“参数最大采样”）。 一般建议更改此默认值或“Nucleus 样本”值，但不要同时更改这两个值。 默认值为 1。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌在文本中的现有频率对新令牌进行惩罚，从而降低模型逐字重复同一行的可能性。 默认值为 0。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌到目前为止是否出现在文本中来惩罚新令牌，从而增加模型谈论新主题的可能性。 默认值为 0。
• “补全选项计数”- 为请求生成的补全选项数量。 此字段的值越大，要使用的令牌数量就越多。 这会导致更高的成本，因此您在设置此字段的值时需要注意这一点。 默认值为 1。
• “停止序列” - 最多四个序列，API 将在其中停止生成更多令牌。 返回的文本不包含停止序列。 默认值为 null。

输出

• 优先生成的文本- 生成的文本。 自动生成的输出变量。
• 掩码测试- 输入提示，其中任何潜在的 PII 数据都已替换为掩码占位符。 自动生成的输出变量。
• “内容生成” - 自动生成的输出变量。 此输出包含完整的嵌套响应对象，包括有关完成、所用模型和 PII 检测结果的其他详细信息。
• 引文字符串（公开预览版） - 上下文基础引文字符串。 自动生成的输出变量。

如何使用内容生成

“内容生成”活动使您可以灵活地与 Studio、Studio Web 或 Apps 中的自定义提示交互以及将 LLM 生成的响应插入到这些响应中。 通过在提示中插入参数和变量，您可以完成一个动态提示模板，该模板通过连接器、Orchestrator 队列项目等从热门业务应用程序拉取数据。 这可帮助您构建适合独特用例的有意义且可扩展的自动化。

重要提示：您可以选择要用于内容生成的模型，构建提示词，识别和隐藏 PII/PHI 数据，以及使用提供或多或少确定性输出的高级模型选项。 重要的是，LLM具有不确定性。 您需要遍历提示，并通过日志记录、外部验证任务 (Action Center) 和测试来监控输出。 内容生成的可配置性很高，但在部署到生产中之前需要测试和监控。

“上下文基础（预览版） ”参数用于启用“上下文基础”。 您可以选择以下两个选项之一：

• 现有索引 ：引用使用 索引和提取（公开预览版） 活动创建的索引的 索引名称 。这将对该索引中的数据集执行 RAG。 这是典型的用例：查询多个文档或文件。
• 文件资源: 使用即时上传到活动的文件，而“上下文基础”可使即时 RAG 或内存中 RAG 查询该特定文档。 您只能在此处上传一个文档，适用于基于摘要的用例。

结果数参数表示上下文基础根据语义相似度分数搜索和检索的热门结果的数量。 这些结果表示数据块（页面），然后将其传递到提示的上下文窗口中，作为证明提示和相关生成的证据。 您可以将此数量增加到模型上下文窗口的上限。 如果输出未产生预期/高质量的结果，则可能需要执行此操作。

要了解有关使用上下文基础的更多信息，请参阅关于上下文基础。