AI Trust Layer

Habilite gateways de IA personalizados e a funcionalidade de gateway de IA traga seu próprio no AI Trust Layer no EKS/AKS.

Habilitação de gateways de IA personalizados

A funcionalidade Traga seu próprio gateway de IA permite modelos de conector personalizados na AI Trust Layer, permitindo que você conecte seus próprios modelos de IA por meio do Connector Builder do Integration Service. Você deve habilitar essa funcionalidade durante a instalação editando o arquivo de configuração input.json .

1. Abra input.json e adicione ou edite a seguinte configuração no componente platform :

   {
     "platform": {
       "advanced_configuration": {
         "portal": {
           "llm_configurations": {
             "enableByoAiGateway": true
           }
         }
       }
     }
   }
   

2. Adicione ou edite a seguinte configuração no componente llmgateway :

   {
     "llmgateway": {
       "advanced_configuration": {
         "enableByoAiGateway": true
       }
     }
   }
   

3. Salve input.json e prossiga com a instalação.

Depois de habilitada, a opção Criar conector personalizado na AI Trust Layer fica disponível, permitindo que você configure conexões personalizadas de LLM usando modelos do Connector Builder.

Para obter detalhes, consulte:

• Configuração de LLMs
• Guia de instruções: conexão do Mistral por meio da AI Trust Layer