内容生成

描述

使用会话补全模型为给定的请求生成会话响应。

项目兼容性

Windows | 跨平台

配置

• 连接 ID - 在 Integration Service 中建立的连接。 访问下拉菜单以选择、添加或管理连接。

• 模型名称- 要使用的生成式 AI 模型或 ID。 此活动默认使用具有最高质量观察到的输出的模型。 但是，您可以根据所需的输出和测试选择不同的模型。 切换模型可能会影响输出。
• “提示” - 会话补全请求的用户提示。 此字段支持String类型输入。
  注意：要将图像附加到自定义提示中，请使用“图像分析”活动。
• PII 检测- 是否从输入提示中检测 PII。 布尔值。 默认值为 False。
  • PII 筛选- 如果设置为“True”，则在将检测到的任何 PII/PHI 发送给 LLM 之前，都会对其进行掩码处理。 输出质量可能会受到影响。 如果设置为 False，检测到的 PII 将包含在提示中。 在这两种情况下，输出中都会提供检测到的 PII。 如果PII 检测设置为“True”，则会显示此字段。
  • PII 语言- 扫描 PII 的提示输入和输出的语言。 从可用下拉列表中选择一种语言。 如果PII 检测设置为“True”，则会显示此字段。
  • PII/PHI 类别- 要分析的可选 PII/PHI 类别。 如果未设置，则审核所有类别。 如果PII 检测设置为“True”，则会显示此字段。
• 系统提示- 会话补全请求的系统提示或上下文指令。 此字段支持String类型输入。
• 上下文基础（公开预览版） - 将现有索引（Orchestrator 存储桶）或文件中的上下文插入到提示中。 从下拉菜单中选择一个可用选项：“无”、“现有索引”、“文件资源”。
  • “索引 (公开预览版) ”- 要引用的索引的名称。 如果将上下文基础设置为现有索引，则会显示此字段。 该字段支持String类型输入。
  • “文件” - 单击以使用变量。 此字段支持IResource型输入。 如果将 “上下文基础”设置为 “文件资源”，则会显示此字段。
    注意：此字段的文件大小限制为 30MB。 对于较大的文件，请将数据上传到 Orchestrator 并使用 “索引并提取”（公开预览版）活动创建索引。

    当前支持的格式: PDF、JSON 和 CSV。

  • 结果数量（公开预览） - 指示要返回的结果数量。 此字段支持Int64型输入。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。 您可以选择字段以将其添加到活动画布中。 添加的标准或自定义字段可在“属性”面板（在 Studio Desktop 中）或在“显示其他属性”下（在 Studio Web 中）下找到。

其他属性

• PII 置信度分数- 成为 PII 并进行编辑所需的最低置信度分数。 如果PII 检测设置为“True”，则会显示此字段。
• 最大令牌数- 完成时要生成的最大令牌数。 提示的令牌计数加上结果/完成中的令牌计数不能超过为此字段提供的值。 最好将此值设置为小于模型的最大计数的值，以便为提示令牌计数留出一些空间。 默认值为 1024。 如果未设置，则活动默认为满足请求的必要令牌或模型允许的最大令牌数。 此字段支持Int64型输入。
• 温度- 要使用的创意因子或抽样温度的值。 值越高意味着模型将承担更大的风险。 对于更具创意的响应或完成情况，请尝试使用 0.9，对于具有明确定义或更精确答案的响应或完成情况，尝试使用 0（也称为参数最大抽样）。 一般建议是更改此值或“Nucleus Sample”值的默认值，但不要同时更改两个值。 默认值为 0。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌在文本中的现有频率对新令牌进行惩罚，从而降低模型逐字重复同一行的可能性。 默认值为 0。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌到目前为止是否出现在文本中来惩罚新令牌，从而增加模型谈论新主题的可能性。 默认值为 0。
• “补全选项计数”- 为请求生成的补全选项数量。 此字段的值越大，要使用的令牌数量就越多。 这会导致更高的成本，因此您在设置此字段的值时需要注意这一点。 默认值为 1。
• “停止序列” - 最多四个序列，API 将在其中停止生成更多令牌。 返回的文本不包含停止序列。 默认值为 null。

输出

• 优先生成的文本- 生成的文本。
• 掩码测试- 输入提示，其中任何潜在的 PII 数据都已替换为掩码占位符。
• 内容生成- 此输出包含完整的嵌套响应对象，包括有关完成、所用模型和 PII 检测结果的其他详细信息。
• 引用字符串（公开预览版） - 上下文基础引用字符串。

如何使用内容生成

“内容生成”活动使您可以灵活地与 Studio、Studio Web 或 Apps 中的自定义提示交互以及将 LLM 生成的响应插入到这些响应中。 通过在提示中插入参数和变量，您可以完成一个动态提示模板，该模板通过连接器、Orchestrator 队列项目等从热门业务应用程序拉取数据。 这可帮助您构建适合独特用例的有意义且可扩展的自动化。

重要提示：您可以选择要用于内容生成的模型，构建提示词，识别和隐藏 PII/PHI 数据，以及使用提供或多或少确定性输出的高级模型选项。 重要的是，LLM具有不确定性。 您需要遍历提示，并通过日志记录、外部验证任务 (Action Center) 和测试来监控输出。 内容生成的可配置性很高，但在部署到生产中之前需要测试和监控。

The Context grounding (Preview) parameter enables Context grounding. You can select one of two options:

• 现有索引 ：引用使用 索引和提取（公开预览版） 活动创建的索引的 索引名称 。这将对该索引中的数据集执行 RAG。 这是典型的用例：查询多个文档或文件。
• File resource: Use a file uploaded just-in-time to the activity and Context grounding enables a just-in-time or in-memory RAG to query that specific document. You can only upload one document here, good for summarization-based use cases.

The Number of Results parameter represents the number of top results that are searched and retrieved by Context grounding based on a semantic similarity score. These results represent chunks of the data (pages) that then are passed into the context window of the prompt as evidence to ground the prompt and associated generation. You may increase this number to the limit of the model context window. This may be necessary if the output is not producing expected/ high quality results.

To learn more about using Context grounding, refer to About Context grounding.