通过 AI Trust Layer 连接自定义 LLM

通过 Automation Suite 中用于私有 Test Cloud 的 AI Trust Layer 连接自定义 LLM，包括所需的设置和验证指南。

“AI Trust Layer LLM 配置”选项卡可让您使用自定义 Integration Service 连接器将外部 LLM 连接到 UiPath 产品。此方法通过 AI Trust Layer 路由 LLM 调用，为您提供与原生支持的模型相同的监管、审核和策略控制。

当 LLM 提供程序尚未成为 Integration Service 中的内置连接器时，需要使用自定义连接器。您可以使用连接器生成器中的模板构建连接器，配置网关凭据，并使用自定义别名注册模型。

以下指南涵盖了特定的集成场景：

• 操作指南：通过 AI Trust Layer 连接 Mistral — 使用 Azure OpenAI 模板连接 Mistral 模型，并根据模型特定的要求进行调整。
• 操作指南：通过 AI Trust Layer 连接 OSS 模型— 使用符合 OpenAI V1 要求的 LLM 模板连接托管在兼容 OpenAI 的网关（如 Fireworks）上的开源模型。