AI Trust Layer

EKS/AKS の AI Trust Layer で、カスタム AI ゲートウェイ機能と独自の AI ゲートウェイ利用機能を有効化します。

カスタム AI ゲートウェイを有効化する

The Bring-your-own AI gateway feature enables custom connector templates in the AI Trust Layer, allowing you to connect your own AI models through Integration Service's Connector Builder. You must enable this feature during installation by editing the input.json configuration file.

1. input.json を開き、platform コンポーネントで次の設定を追加または編集します。

   {
     "platform": {
       "advanced_configuration": {
         "portal": {
           "llm_configurations": {
             "enableByoAiGateway": true
           }
         }
       }
     }
   }
   

2. llmgateway コンポーネントで以下の設定を追加または編集します。

   {
     "llmgateway": {
       "advanced_configuration": {
         "enableByoAiGateway": true
       }
     }
   }
   

3. input.jsonを保存し、インストールを続行します。

有効化すると、AI Trust Layer の [ カスタム コネクタを作成 ] オプションが利用可能になり、コネクタ ビルダーのテンプレートを使用してカスタム LLM のコネクションを設定できます。

詳しくは、以下をご覧ください。

• LLM を設定する
• 使用ガイド: AI Trust Layer を介した Mistral の接続