How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

备注：

This capability is currently generally available for enterprise customers upon request.

本指南说明了如何通过 AI Trust Layer LLM 配置功能连接在 AI 网关上托管的开源模型。您可以使用符合 OpenAI V1 要求的模板创建自定义 Integration Service 连接器，并使用网关凭据和模型标识符对其进行配置。

这些步骤使用 Fireworks 作为示例网关，但任何与 OpenAI 兼容的网关都适用。

先决条件

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• 与 OpenAI 兼容的 AI 网关（例如 Fireworks）上的一个帐户，且该帐户有权访问您要使用的模型
• 网关中列出的模型标识符（例如， accounts/fireworks/models/glm-4p6表示 Fireworks 上的 GLM）
• 网关帐户的 API 凭据
• Organization administrator access in Test Cloud
• 访问 Integration Service 和连接器生成器

在 AI Trust Layer 中配置 LLM

1. 导航到“管理员” > “AI Trust Layer” > “LLM 配置” ，然后选择“添加配置” 。

2. 设置“租户” 、 “产品”和“功能”的值。

   备注：

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. 将“API 类型”设置为与您的模型对应的 API 类型。对于大多数聊天模式，请选择“聊天补全” 。

5. 在“连接器”字段中，选择“创建自定义连接器” 。

6. 选择“符合 OpenAI V1 要求”的 LLM模板，然后选择“创建连接器” 。系统将打开“连接器生成器”，其中已预先填充了模板。

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

在 Integration Service 中添加连接

1. 在 Integration Service 中，导航到“连接” ，然后选择“添加连接” 。
2. 选择您发布的自定义连接器。
3. 输入您的网关凭据。对于 Fireworks，这是您的 API 密钥。
4. 选择“连接”以配置连接。

完成 LLM 配置

1. 返回到“管理员” > “AI Trust Layer” > “LLM 配置” ，然后打开您启动的配置。

2. 在“模型配置”下，将“连接器”设置为您已发布的连接器，将“连接” 设置为您创建的连接。

3. 在“LLM 标识符”字段中，输入与网关中显示的完全相同的模型标识符。

   对于 Fireworks 托管模型，标识符采用accounts/fireworks/models/<model-name>格式。例如： accounts/fireworks/models/glm-4p6 。

   备注：

   LLM 标识符字段中的尾随空格会导致连接错误。保存前，请验证没有前导或尾随空格。

4. 选择测试配置，以运行 AI Trust Layer 探测器。

5. 如果探测器通过，请选择“保存” 。

结果

系统将保存配置，并且 OSS 模型可用于您指定的产品和功能。调用通过 AI Trust Layer 路由，并显示在审核日志中的“来源：自定义连接”下。要进行验证，请使用新添加的模型运行智能体，并检查追踪记录和 AI Trust Layer 审核日志，以确认已调用预期模型。

备注：

如果您在创建自定义连接器时遇到问题，请联系 UiPath 支持团队获取帮助。