通过 AI Trust Layer 连接自定义 LLM

使用 AI Trust Layer 中的自定义 Integration Service 连接器来连接缺少内置连接器的 LLM 提供程序。

备注：

此功能目前已针对 Enterprise 客户正式发布，可应请求提供。

“AI Trust Layer LLM 配置”选项卡可让您使用自定义 Integration Service 连接器将外部 LLM 连接到 UiPath 产品。此方法通过 AI Trust Layer 路由 LLM 调用，为您提供与原生支持的模型相同的监管、审核和策略控制。

当 LLM 提供程序尚未可用作 Integration Service 中的内置连接器时，需要使用自定义连接器。您可以使用“连接器生成器”中的模板构建连接器，配置网关凭据，并使用自定义别名注册模型。

以下指南涵盖了特定的集成场景：

• 操作指南：通过 AI Trust Layer 连接 Mistral — 使用 Azure OpenAI 模板连接 Mistral 模型，并根据模型特定的要求进行调整。
• 操作指南：通过 AI Trust Layer 连接开源模型— 使用符合 OpenAI V1 要求的 LLM 模板连接托管在兼容 OpenAI 的网关（如 Fireworks）上的开源模型。