生成文本补全

描述

给定提示和其他输入（例如模型 ID 等），会生成文本完成响应。

项目兼容性

Windows | 跨平台

配置

• 连接- 在 Integration Service 中建立的连接。访问下拉菜单以选择、添加或管理连接。
• 模型- 用于文本补全的大型语言模型 (LLM)。
  备注：

  此活动使用户可以选择已部署到 Azure 实例中的任何 GPT-3 模型。如果在下拉列表中看不到模型，请联系 Azure 管理员，并确保他们已将模型部署到生产中。

• 提示- 要用于生成文本补全的提示。此字段支持String类型的输入。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。您可以选择字段以将其添加到活动画布中。添加的标准或自定义字段可在“属性”面板（在 Studio 桌面版中）或“显示其他属性”下（在 Studio Web 中）中找到。

其他属性

• API 版本- 要用于此操作的 API 版本。格式为 YYYY-MM-DD。此字段支持String类型的输入。
• “最大令牌数” - 补全时要生成的最大令牌数。提示的令牌计数加上 max_tokens 不能超过模型的上下文长度。大多数模型的上下文长度为 2048 个令牌（最新模型除外，该模型支持 4096 个令牌）。阅读有关令牌的更多信息 。
• N - 您希望 AI 返回的补全选项数量。此字段的最小值为
  1. 默认值为 1。
• 温度- 要使用的采样温度值。值越高意味着模型承担越大的风险。对于更具创意的响应或补全情况，请尝试0.9 ，对于具有明确定义或更精确答案的响应或补全情况，请尝试0 （也称为参数最大采样）。一般建议是更改此值或“核心采样值”的默认值，但不要同时更改两个值。默认为 1。
• Top P - 0 到 1 之间的数字。数字越小，需要考虑的令牌就越少。默认为 1。
• 指定是否以流式传输的形式返回部分进度。如果设置，令牌将在可用时作为仅数据服务器发送事件发送，并由data:[DONE]消息终止。默认为 False。
• “日志概率” - 包括logprob最有可能出现的令牌以及所选令牌的日志概率。例如，如果logprobs为 5，则 API 将返回最有可能出现的 5 个令牌的列表。API 始终返回样本令牌的logprob ，因此响应中最多可能包含logprobs+1元素。logprobs的最大值为 5。默认为 null。
• “回显” - 除了补全之外，如果此字段设置为true ，还会回显提示。默认值为false 。
• 停止- 最多 4 个 API 停止生成更多令牌的序列。返回的文本不包含停止序列。默认为 null。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据新令牌到目前为止是否出现在文本中来对新令牌给出罚分，从而增加模型谈论新主题的可能性。默认为 0。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据迄今为止文本中的现有频率对新标记进行惩罚，从而降低模型逐字重复同一行的可能性。默认为 0。
• “最佳” - 在服务器端生成best_of补全，并返回best （每个令牌具有最高日志概率的令牌）。无法流式传输结果。与 N 一起使用时， best_of控制候选补全的数量，N 指定要返回的数量 - best_of必须大于 N。默认为 1。

输出

• 热门生成的文本- 热门生成的文本补全字符串。如果您只想返回单个响应（即N=1，这是默认值），则这将是您最有可能想要使用的输出。它是一种“文本”数据类型，可以轻松地为其分配变量并在其他活动/文本输入中直接使用。
• 生成文本补全- 完整的TextCompletion对象，其中包括：
  • 模型的选择或响应。您可以使用活动的其他选项中的“N” 字段设置希望从模型中返回的响应总数，默认情况下为 1。该方法将作为数组返回，其中第一个对象从 0 开始。在“遍历循环”控件中引用数组中的单个对象： Response.Choices(0).Text 。阅读有关文本补全响应对象的更多信息。