内容生成

描述

使用会话补全模型为给定的请求生成会话响应。

项目兼容性

Windows | 跨平台

配置

• 连接 ID - 在 Integration Service 中建立的连接。 访问下拉菜单以选择、添加或管理连接。

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• “提示” - 会话补全请求的用户提示。 此字段支持String类型输入。
  注意：要将图像附加到自定义提示中，请使用“图像分析”活动。
• PII 检测- 是否从输入提示中检测 PII。 布尔值。 默认值为 False。
  • PII 筛选- 如果设置为“True”，则在将检测到的任何 PII/PHI 发送给 LLM 之前，都会对其进行掩码处理。 输出质量可能会受到影响。 如果设置为 False，检测到的 PII 将包含在提示中。 在这两种情况下，输出中都会提供检测到的 PII。 如果PII 检测设置为“True”，则会显示此字段。
  • PII 语言- 扫描 PII 的提示输入和输出的语言。 从可用下拉列表中选择一种语言。 如果PII 检测设置为“True”，则会显示此字段。
  • PII/PHI 类别- 要分析的可选 PII/PHI 类别。 如果未设置，则审核所有类别。 如果PII 检测设置为“True”，则会显示此字段。
• 系统提示- 会话补全请求的系统提示或上下文指令。 此字段支持String类型输入。
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。 您可以选择字段以将其添加到活动画布中。 添加的标准或自定义字段可在“属性”面板（在 Studio Desktop 中）或在“显示其他属性”下（在 Studio Web 中）下找到。

其他属性

• PII 置信度分数- 成为 PII 并进行编辑所需的最低置信度分数。 如果PII 检测设置为“True”，则会显示此字段。
• 最大令牌数- 完成时要生成的最大令牌数。 提示的令牌计数加上结果/完成中的令牌计数不能超过为此字段提供的值。 最好将此值设置为小于模型的最大计数的值，以便为提示令牌计数留出一些空间。 默认值为 1024。 如果未设置，则活动默认为满足请求的必要令牌或模型允许的最大令牌数。 此字段支持Int64型输入。
• 温度- 要使用的创意因子或抽样温度的值。 值越高意味着模型将承担更大的风险。 对于更具创意的响应或完成情况，请尝试使用 0.9，对于具有明确定义或更精确答案的响应或完成情况，尝试使用 0（也称为参数最大抽样）。 一般建议是更改此值或“Nucleus Sample”值的默认值，但不要同时更改两个值。 默认值为 0。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌在文本中的现有频率对新令牌进行惩罚，从而降低模型逐字重复同一行的可能性。 默认值为 0。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。 正值根据新令牌到目前为止是否出现在文本中来惩罚新令牌，从而增加模型谈论新主题的可能性。 默认值为 0。
• “补全选项计数”- 为请求生成的补全选项数量。 此字段的值越大，要使用的令牌数量就越多。 这会导致更高的成本，因此您在设置此字段的值时需要注意这一点。 默认值为 1。
• “停止序列” - 最多四个序列，API 将在其中停止生成更多令牌。 返回的文本不包含停止序列。 默认值为 null。

输出

• 优先生成的文本- 生成的文本。
• 掩码测试- 输入提示，其中任何潜在的 PII 数据都已替换为掩码占位符。
• 内容生成- 此输出包含完整的嵌套响应对象，包括有关完成、所用模型和 PII 检测结果的其他详细信息。
• Citations string - The Context grounding citations string.

如何使用内容生成

“内容生成”活动使您可以灵活地与 Studio、Studio Web 或 Apps 中的自定义提示交互以及将 LLM 生成的响应插入到这些响应中。 通过在提示中插入参数和变量，您可以完成一个动态提示模板，该模板通过连接器、Orchestrator 队列项目等从热门业务应用程序拉取数据。 这可帮助您构建适合独特用例的有意义且可扩展的自动化。

重要提示：您可以选择要用于内容生成的模型，构建提示词，识别和隐藏 PII/PHI 数据，以及使用提供或多或少确定性输出的高级模型选项。 重要的是，LLM具有不确定性。 您需要遍历提示，并通过日志记录、外部验证任务 (Action Center) 和测试来监控输出。 内容生成的可配置性很高，但在部署到生产中之前需要测试和监控。

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• 文件资源: 使用即时上传到活动的文件，并且上下文基础可使即时 RAG 或内存中 RAG 查询该特定文档。 您只能在此处上传一个文档，适用于基于摘要的用例。

结果数参数表示上下文基础根据语义相似度分数搜索和检索的热门结果数。 这些结果表示数据块（页面），然后将其传递到提示的上下文窗口中，作为证明提示和相关生成的证据。 您可以将此数量增加到模型上下文窗口的上限。 如果输出未产生预期/高质量的结果，则可能需要执行此操作。

To learn more about using Context grounding, refer to About Context grounding.