生成会话补全

描述

在给定用户提示、可选指令和其他可选输入（例如模型 ID 等）的情况下，系统会生成聊天完成响应。此功能模仿流行的 ChatGPT 功能。此活动使用户能够与 GPT-3.5 和 GPT-4 模型交互，并通过上下文和用户角色模拟与模型的对话体验。

项目兼容性

Windows | 跨平台

配置

• 连接- 在 Integration Service 中建立的连接。访问下拉菜单以选择、添加或管理连接。
• 模型- 用于会话补全的大型语言模型 (LLM)。您可以在gpt-35-turbo和gpt-4之间进行选择。您可以在 Microsoft文档中阅读有关这些模型之间区别的更多信息。
  备注：

  此活动使用户可以选择已部署到 Azure 实例中的任何 GPT-3.5 或 GPT-4 模型。如果在下拉列表中看不到模型，请联系 Azure 管理员，并确保他们已将模型部署到生产中。

• “提示” - 用于聊天补全请求的输入。阅读有关提示词工程的更多信息。此字段支持String类型的输入。
• 知识库- 指示是否使用向量数据库中存储的唯一上下文执行聊天补全。如果选中，则需填写其他字段。布尔值。默认值为 False。
• 向量 DB - 用作内部知识库的向量 DB。从下拉菜单中选择一个选项。目前，只有 Pinecone 可用。如果将“知识库”设置为“True”，则会显示此字段。
• Pinecone API 密钥- 如果使用自己的 Pinecone向量数据库实例通过检索增强生成获取聊天补全，则必须提供 API 密钥。如果担心安全，可以将其存储为资产。此字段支持String类型的输入。如果选择 Pinecone 作为“向量 DB”字段，则会显示此字段。
• Pinecone 环境- 托管 Pinecone 数据库的环境。请查阅您的实例。如果需要检索增强生成，则此为必填字段。从可用的下拉列表中选择一个选项。
• Pinecone 索引- 用于搜索拉取相关内容的 Pinecone 索引。从可用的下拉列表中选择一个选项。此字段是可选的。
• Pinecone 命名空间- 用于在相关上下文中搜索拉取的特定 Pinecone 命名空间。从可用的下拉列表中选择一个选项。此字段是可选的。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。您可以选择字段以将其添加到活动画布中。添加的标准或自定义字段可在“属性”面板（在 Studio 桌面版中）或“显示其他属性”下（在 Studio Web 中）中找到。

其他属性

• API 版本- 要用于此操作的 API 版本。格式为 YYYY-MM-DD。此字段支持String类型的输入。
• 说明- 指导 AI 以符合您意图的方式做出响应的说明。默认为 null。此字段支持String类型的输入。
• 最大令牌数- 提示和生成的答案允许的最大令牌数。令牌越少，成本就越低。大多数模型最多支持 4096 个令牌，但有些型号仅支持 2048 个。默认值为 3840。阅读有关令牌的更多信息 。
• 温度- 0 到 2 之间的数字。 0.8的值使输出更具随机性，而较低的值使输出更具针对性和确定性。默认值为1 。
• N - 您希望 AI 返回的补全选项数量。此字段的最小值为 1。默认值为1 。
• Top P - 0 到 1 之间的数字。数字越小，需要考虑的令牌就越少。默认为 1。
• 指定是否以流式传输的形式返回部分进度。如果设置，令牌将在可用时作为仅数据服务器发送事件发送，并由data:[DONE]消息终止。默认为 False。
• 存在惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据新令牌到目前为止是否出现在文本中来对新令牌给出罚分，从而增加模型谈论新主题的可能性。默认为 0。
• 频率惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据迄今为止文本中的现有频率对新标记进行惩罚，从而降低模型逐字重复同一行的可能性。默认为 0。

输出

• 优先生成的文本- 优先生成的会话补全字符串。如果您只想返回一个响应（即 N=1，这是默认值），那么您很可能会使用此输出。它是一种Text数据类型，可以轻松向其分配变量并在其他活动/文本输入中直接使用。
• 会话补全- 完整的ChatCompletion对象，其中包括：
  • 选项 - 或模型的响应。您可以使用活动“其他选项”中的“N”字段设置希望从模型中返回的响应总数，默认为 1。该方法将作为数组返回，其中第一个对象从 0 开始。在“遍历循环”控件中引用数组中的单个对象： Response.Choices(0).Text 。有关详细信息，请参阅会话补全对象文档。