Guia de instruções: conexão de modelos OSS por meio da AI Trust Layer

Conecte um modelo de código aberto hospedado em um gateway compatível com OpenAI aos produtos da UiPath por meio da AI Trust Layer usando o modelo de conector OpenAI V1 Compliant LLM.

Este guia explica como conectar um modelo de código aberto hospedado em um gateway de IA por meio da funcionalidade Configurações de LLM da AI Trust Layer. Você cria um conector personalizado do Integration Service usando o modelo Compatível com OpenAI V1 e o configura com suas credenciais de gateway e identificador de modelo.

As etapas usam o Fireworks como o gateway de exemplo, mas qualquer gateway compatível com OpenAI funciona.

Pré-requisitos

• BYO AI Gateway habilitado em seu cluster. Para obter detalhes, consulte Configuração da AI Trust Layer.
• Uma conta em um gateway de IA compatível com OpenAI (por exemplo, Fireworks) com acesso ao modelo que você deseja usar
• O identificador do modelo conforme listado em seu gateway (por exemplo, accounts/fireworks/models/glm-4p6 para GLM no Fireworks)
• Credenciais de API para sua conta do gateway
• Acesso do administrador da organização no Automation Suite
• Acesso ao Integration Service e ao Connector Builder

Configure o LLM na AI Trust Layer

1. Navegue até Admin > AI Trust Layer > configurações do LLM e selecione Adicionar configuração.

2. Defina os valores de Tenant, Produto e Recurso .

   Observação:

   Você pode selecionar qualquer produto compatível com BYOM — por exemplo, Agentes, Atividades de IA generativa ou Agentes codificados.

3. Em Configuração do modelo, selecione Adicionar alias personalizado e insira o nome do modelo OSS.

4. Defina Tipo de API como o tipo de API que corresponde ao seu modelo. Para a maioria dos modelos de chat, selecione Concluídos de chat.

5. No campo Conector , selecione Criar conector personalizado.

6. Selecione o modelo de LLM compatível com OpenAI V1 e, em seguida, selecione Criar conector. O Construtor de Conector é aberto com o modelo pré-preenchido.

7. Configure e salve o conector e, em seguida, publique-o.

Adicionar uma conexão no Integration Service

1. No Integration Service, navegue até Conexões e selecione Adicionar conexão.
2. Selecione o conector personalizado que você publicou.
3. Insira as credenciais do seu gateway. Para o Fireworks, essa é sua chave de API.
4. Selecione Conectar para provisionar a conexão.

Conclua a configuração do LLM

1. Retorne ao Administrador > AI Trust Layer > configurações do LLM e abra a configuração que você iniciou.

2. Em Configuração do modelo, defina Conector como seu conector publicado e Conexão como a conexão que você criou.

3. No campo Identificador do LLM , insira o identificador do modelo exatamente como aparece no seu gateway.

   Para modelos hospedados no Fireworks, o identificador segue o formato accounts/fireworks/models/<model-name>. Por exemplo: accounts/fireworks/models/glm-4p6.

   Observação:

   Espaços à direita no campo do identificador do LLM causam erros de conexão. Verifique se não há espaços à esquerda ou à direita antes de salvar.

4. Selecione Configuração de teste para executar a investigação da AI Trust Layer.

5. Se a investigação for bem-sucedida, selecione Salvar.

Resultado

A configuração é salva e o modelo OSS está disponível para o produto e a funcionalidade que você especificou. As chamadas são encaminhadas por meio da AI Trust Layer e aparecem no log de auditoria em Origem: conexão personalizada. Para verificar, execute um agente usando o modelo recém-adicionado e verifique os traces e os logs de auditoria da AI Trust Layer para confirmar que o modelo esperado foi invocado.

Observação:

Se você encontrar problemas ao criar um conector personalizado, entre em contato com o Suporte da UiPath para obter assistência.