Ai Trust Layer

在 EKS/AKS 上的 AI Trust Layer 中启用自定义 AI 网关并使用“自带 AI 网关”功能。

启用自定义 AI 网关

The Bring-your-own AI gateway feature enables custom connector templates in the AI Trust Layer, allowing you to connect your own AI models through Integration Service's Connector Builder. You must enable this feature during installation by editing the input.json configuration file.

1. 打开input.json并在platform组件下添加或编辑以下配置：

   {
     "platform": {
       "advanced_configuration": {
         "portal": {
           "llm_configurations": {
             "enableByoAiGateway": true
           }
         }
       }
     }
   }
   

2. 在llmgateway组件下添加或编辑以下配置：

   {
     "llmgateway": {
       "advanced_configuration": {
         "enableByoAiGateway": true
       }
     }
   }
   

3. 保存input.json并继续安装。

启用后，“AI Trust Layer”中的“创建自定义连接器”选项将变为可用，允许您使用连接器生成器模板配置自定义 LLM 连接。

有关详细信息，请参阅：

• 配置 LLM
• 操作指南：通过 AI Trust Layer 连接 Mistral