AI Trust Layer

Aktivieren Sie benutzerdefinierte KI-Gateways und die Funktion „Bring-Your-Own“ in AI Trust Layer auf EKS/AKS.

Aktivieren von benutzerdefinierten KI-Gateways

The Bring-your-own AI gateway feature enables custom connector templates in the AI Trust Layer, allowing you to connect your own AI models through Integration Service's Connector Builder. You must enable this feature during installation by editing the input.json configuration file.

1. Öffnen Sie input.json und fügen Sie die folgende Konfiguration unter der platform -Komponente hinzu oder bearbeiten Sie sie:

   {
     "platform": {
       "advanced_configuration": {
         "portal": {
           "llm_configurations": {
             "enableByoAiGateway": true
           }
         }
       }
     }
   }
   

2. Fügen Sie die folgende Konfiguration unter der Komponente llmgateway hinzu oder bearbeiten Sie sie:

   {
     "llmgateway": {
       "advanced_configuration": {
         "enableByoAiGateway": true
       }
     }
   }
   

3. Speichern Sie input.json und fahren Sie mit der Installation fort.

Nach der Aktivierung wird die Option Benutzerdefinierten Connector erstellen im AI Trust Layer verfügbar, sodass Sie benutzerdefinierte LLM-Verbindungen mithilfe von Connector Builder-Vorlagen konfigurieren können.

Weitere Details finden Sie unter:

• Konfigurieren von LLMs
• Anleitung: Verbinden von Missral über AI Trust Layer