AI Trust Layer

Habilite gateways de IA personalizados no AI Trust Layer para conectar os próprios modelos de IA por meio do Integration Service no OpenShift.

Habilitação de gateways de IA personalizados

The Bring-your-own AI gateway feature enables custom connector templates in the AI Trust Layer, allowing you to connect your own AI models through Integration Service's Connector Builder. You must enable this feature during installation by editing the input.json configuration file.

1. Abra input.json e adicione ou edite a seguinte configuração no componente platform :

   {
     "platform": {
       "advanced_configuration": {
         "portal": {
           "llm_configurations": {
             "enableByoAiGateway": true
           }
         }
       }
     }
   }
   

2. Adicione ou edite a seguinte configuração no componente llmgateway :

   {
     "llmgateway": {
       "advanced_configuration": {
         "enableByoAiGateway": true
       }
     }
   }
   

3. Salve input.json e prossiga com a instalação.

Depois de habilitada, a opção Criar conector personalizado na AI Trust Layer fica disponível, permitindo que você configure conexões personalizadas de LLM usando modelos do Connector Builder.

Para obter detalhes, consulte:

• Configuração de LLMs
• Guia de instruções: conexão do Mistral por meio da AI Trust Layer