操作指南：通过 AI Trust Layer 连接 OSS 模型

通过 Automation Suite 中用于私有 Test Cloud 的 AI Trust Layer 连接 OSS 模型，包括所需的设置和验证指南。

本指南说明了如何通过 AI Trust Layer LLM 配置功能连接在 AI 网关上托管的开源模型。您可以使用符合 OpenAI V1 要求的模板创建自定义 Integration Service 连接器，并使用网关凭据和模型标识符对其进行配置。

这些步骤使用 Fireworks 作为示例网关，但任何与 OpenAI 兼容的网关都适用。

先决条件

• 在集群中启用 BYO AI 网关。有关详细信息，请参阅配置 AI Trust Layer 。
• 与 OpenAI 兼容的 AI 网关（例如 Fireworks）上的一个帐户，且该帐户有权访问您要使用的模型
• 网关中列出的模型标识符（例如， accounts/fireworks/models/glm-4p6表示 Fireworks 上的 GLM）
• 网关帐户的 API 凭据
• Automation Suite 中的组织管理员访问权限
• 访问 Integration Service 和连接器生成器

在 AI Trust Layer 中配置 LLM

1. 导航到“管理员” > “AI Trust Layer” > “LLM 配置” ，然后选择“添加配置” 。

2. 设置“租户” 、 “产品”和“功能”的值。

   备注：

   您可以选择支持 BYOM 的任何产品，例如“智能体” 、 “生成式 AI 活动”或“编码智能体” 。

3. 在“模型配置”下，选择“添加自定义别名” ，然后输入 OSS 模型的名称。

4. 将“API 类型”设置为与您的模型对应的 API 类型。对于大多数聊天模式，请选择“聊天补全” 。

5. 在“连接器”字段中，选择“创建自定义连接器” 。

6. 选择“符合 OpenAI V1 要求”的 LLM模板，然后选择“创建连接器” 。系统将打开“连接器生成器”，其中已预先填充了模板。

7. 配置并保存连接器，然后发布。

在 Integration Service 中添加连接

1. 在 Integration Service 中，导航到“连接” ，然后选择“添加连接” 。
2. 选择您发布的自定义连接器。
3. 输入您的网关凭据。对于 Fireworks，这是您的 API 密钥。
4. 选择“连接”以配置连接。

完成 LLM 配置

1. 返回到“管理员” > “AI Trust Layer” > “LLM 配置” ，然后打开您启动的配置。

2. 在“模型配置”下，将“连接器”设置为您已发布的连接器，将“连接” 设置为您创建的连接。

3. 在“LLM 标识符”字段中，输入与网关中显示的完全相同的模型标识符。

   对于 Fireworks 托管模型，标识符采用accounts/fireworks/models/<model-name>格式。例如： accounts/fireworks/models/glm-4p6 。

   备注：

   LLM 标识符字段中的尾随空格会导致连接错误。保存前，请验证没有前导或尾随空格。

4. 选择测试配置，以运行 AI Trust Layer 探测器。

5. 如果探测器通过，请选择“保存” 。

结果

系统将保存配置，并且 OSS 模型可用于您指定的产品和功能。调用通过 AI Trust Layer 路由，并显示在审核日志中的“来源：自定义连接”下。要进行验证，请使用新添加的模型运行智能体，并检查追踪记录和 AI Trust Layer 审核日志，以确认已调用预期模型。

备注：

如果您在创建自定义连接器时遇到问题，请联系 UiPath 支持团队获取帮助。