生成文本补全

“生成文本补全”活动，根据提示和模型配置生成文本补全响应。

UiPath.OpenAI.IntegrationService.Activities.GenerateTextCompletion

描述

在给定提示和其他输入的情况下，此活动会生成文本补全响应。此功能支持多种文本生成模型。阅读更多有关模型和文本完成之间的区别的信息。

项目兼容性

Windows | 跨平台

配置

• 连接- 在 Integration Service 中建立的连接。访问下拉菜单以选择、添加或管理连接。
• 提示- 要用于生成文本补全的提示。您可以在此处阅读有关提示的更多信息。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。您可以选择字段以将其添加到活动画布中。添加的标准或自定义字段可在“属性”面板（在 Studio 桌面版中）或“显示其他属性”下（在 Studio Web 中）中找到。

其他属性

• 模型名称- 要用于文本补全的大型语言模型 (LLM)。从下拉列表中选择一个可用选项。并非所有模型都支持文本补全。请确保所选模型与此操作兼容。您可以在OpenAI 文档中阅读有关这些模型之间差异的更多信息。
• 最大令牌数- 提示和生成的答案允许的最大令牌数。令牌越少，成本就越低。大多数模型最多支持 4096 个令牌，但有些型号仅支持 2048 个。默认值为1920 。阅读有关令牌的更多信息。
• N - 您希望 AI 返回的补全选项数量。此字段的最小值为1 。默认值为1 。
• 温度- 0 到 2 之间的数字。 0.8的值使输出更具随机性，而0.2的值使输出更具针对性和确定性。默认值为1 。
• Top P - 0 到 1 之间的数字。数字越小，需要考虑的令牌就越少。默认为1 。
• 后缀- 完成插入文本之后的后缀。默认为null 。
• 指定是否以流式传输的形式返回部分进度。如果设置，令牌将在可用时作为仅数据服务器发送事件发送，并由data:[DONE]消息终止。默认为false 。
• “日志概率” - 包括logprob最有可能出现的令牌以及所选令牌的日志概率。例如，如果logprobs为 5，则 API 将返回最有可能出现的 5 个令牌的列表。API 始终返回样本令牌的logprob ，因此响应中最多可能包含logprobs+1元素。logprobs的最大值是 5。默认为null 。
• “回显” - 除了补全之外，如果此字段设置为true ，还会回显提示。默认值为false 。
• 停止- 最多 4 个 API 停止生成更多令牌的序列。返回的文本不包含停止序列。默认为null 。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据新令牌到目前为止是否出现在文本中来对新令牌给出罚分，从而增加模型谈论新主题的可能性。默认为0 。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据迄今为止文本中的现有频率对新标记进行惩罚，从而降低模型逐字重复同一行的可能性。默认为0 。
• “最佳” - 在服务器端生成best_of补全，并返回best （每个令牌具有最高日志概率的令牌）。无法流式传输结果。与 N 一起使用时， best_of控制候选补全的数量，N 指定要返回的数量 - best_of必须大于 N。默认为1 。
  • 由于此参数会生成许多完成项，因此可以快速消耗您的令牌配额。 请谨慎使用，并确保对“最大令牌”和“停止”进行合理设置。
• “用户” - 代表最终用户的唯一标识符，可帮助 OpenAI 监控和检测滥用情况。默认为null 。

输出

• 热门生成的文本- 热门生成的文本补全字符串。如果您只想返回单个响应（即N=1，这是默认值），则这将是您最有可能想要使用的输出。它是一种Text数据类型，可以轻松向其分配变量并在其他活动/文本输入中直接使用。
• 生成文本补全- 自动生成的输出变量。完整的GenerateTextCompletion对象，其中包括：
  • 选项- 或模型的响应。您可以使用活动“其他选项”中的“N”字段设置希望从模型中返回的响应总数，默认为 1。该方法将作为数组返回，其中第一个对象从 0 开始。在“遍历循环”控件中引用数组中的单个对象： Response.Choices(0).Text 。有关文本补全响应对象其他部分的详细信息，请参阅创建补全文档。