生成会话补全

描述

在给定用户提示、可选指令和其他可选输入（例如模型 ID 等）的情况下，系统会生成聊天完成响应。此功能模仿流行的 ChatGPT 功能。此活动使用户能够与 GPT-3.5 和 GPT-4 模型交互，并通过上下文和用户角色模拟与模型的对话体验。

项目兼容性

Windows | 跨平台

配置

连接 ID - 在 Integration Service 中建立的连接。访问下拉菜单以选择、添加或管理连接。
模型- 用于会话补全的大型语言模型 (LLM)。您可以在gpt-35-turbo和gpt-4之间进行选择。您可以在 Microsoft文档中阅读有关这些模型之间区别的更多信息。
注意：此活动使用户可以选择已部署到 Azure 实例中的任何 GPT-3.5 或 GPT-4 模型。如果在下拉列表中看不到模型，请联系 Azure 管理员，并确保他们已将模型部署到生产中。
“提示” - 用于会话补全请求的输入。阅读有关提示工程的更多信息。此字段支持String类型输入。
知识库- 指示是否使用向量数据库中存储的唯一上下文执行会话补全。如果选中，则必填其他字段。布尔值。默认值为 False。
“向量数据库” - 用作内部知识库的向量数据库。从下拉菜单中选择一个选项。目前，只有“ Pinecone ”可用。如果将“知识库” 设置为“True”，则会显示此字段。
Pinecone API 密钥- 如果使用您自己的 Pinecone 向量数据库实例通过检索增强型生成器获取会话补全信息，则必须提供 API 密钥。如果考虑到安全性，可以将其存储为资产。此字段支持String类型输入。如果为“向量 DB” 字段选择“ Pinecone ”，则会显示此字段。
“ Pinecone ” 环境- 托管“ Pinecone ” 数据库的环境。请查阅您的实例。如果需要检索增强生成，则此字段为必填字段。从可用下拉列表中选择一个选项。
“ Pinecone索引” - 用于搜索拉取相关内容的“ Pinecone索引”。从可用下拉列表中选择一个选项。此字段是可选的。
“ Pinecone命名空间”- 要在相关上下文中搜索拉取的特定“ Pinecone ”命名空间。从可用下拉列表中选择一个选项。此字段是可选的。

管理属性

使用“管理属性”向导配置或使用对象的任何标准或自定义字段。您可以选择字段以将其添加到活动画布中。添加的标准或自定义字段可在“属性”面板（在 Studio Desktop 中）或在“显示其他属性”下（在 Studio Web 中）下找到。

其他属性

“ API 版本”- 用于此操作的 API 版本。格式为 YYYY-MM-DD。此字段支持String类型输入。
指令- 指导 AI 以符合您意图的方式做出响应的指令。默认为 null。此字段支持String类型输入。
最大令牌数 - 提示和生成的答案允许的令牌的最大数量。令牌越少，成本就越低。大多数模型最多支持 4096 个令牌，但有些型号仅支持 2048 个。默认值为 3840。阅读有关令牌的更多信息。
温度- 0 到 2 之间的数字。较高的值 (例如0.8会使输出更具随机性，而较低的值 (例如 0.2) 会使输出更具针对性和确定性。默认值为1 。
N - 希望 AI 返回的补全选项数量。此字段的最小值为 1。默认值为1 。
置顶 P - 0 到 1 之间的数字。数字越小，需要考虑的令牌就越少。默认为 1。
“流式传输” - 指定是否以流式传输的方式返回部分进度。如果设置，令牌将在可用时作为仅数据服务器发送事件发送，流由data:[DONE]消息终止。默认为 False。
存在惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据新令牌到目前为止是否出现在文本中来惩罚新令牌，从而增加模型谈论新主题的可能性。默认为 0。
频率惩罚- 介于 -2.0 和 2.0 之间的数字。正值根据迄今为止文本中的现有频率对新令牌进行惩罚，从而降低模型逐字重复同一行的可能性。默认为 0。

输出

“排名前的生成的文本”- 排名前的聊天补全字符串。如果您只想返回单个响应（即 N=1，这是默认值），则您很可能会使用此输出。它是Text数据类型，您可以很容易地为其分配变量，也可以直接在其他活动/文本输入中直接使用。
聊天完成 - 完整的 ChatCompletion 对象，其中包括：
- 选项 - 或模型的响应。您可以使用活动其他选项中的“N”字段设置希望从模型返回的响应总数，默认为 1。这将作为数组返回，第一个对象从 0 开始。在“遍历循环”控件中引用数组中的单个对象： Response.Choices(0).Text 。有关详细信息，请参阅会话补全对象文档。