How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

Observação:

This capability is currently generally available for enterprise customers upon request.

Este guia explica como conectar um modelo de código aberto hospedado em um gateway de IA por meio da funcionalidade Configurações de LLM da AI Trust Layer. Você cria um conector personalizado do Integration Service usando o modelo Compatível com OpenAI V1 e o configura com suas credenciais de gateway e identificador de modelo.

As etapas usam o Fireworks como o gateway de exemplo, mas qualquer gateway compatível com OpenAI funciona.

Pré-requisitos

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• Uma conta em um gateway de IA compatível com OpenAI (por exemplo, Fireworks) com acesso ao modelo que você deseja usar
• O identificador do modelo conforme listado em seu gateway (por exemplo, accounts/fireworks/models/glm-4p6 para GLM no Fireworks)
• Credenciais de API para sua conta do gateway
• Organization administrator access in Test Cloud
• Acesso ao Integration Service e ao Connector Builder

Configure o LLM na AI Trust Layer

1. Navegue até Admin > AI Trust Layer > configurações do LLM e selecione Adicionar configuração.

2. Defina os valores de Tenant, Produto e Recurso .

   Observação:

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. Defina Tipo de API como o tipo de API que corresponde ao seu modelo. Para a maioria dos modelos de chat, selecione Concluídos de chat.

5. No campo Conector , selecione Criar conector personalizado.

6. Selecione o modelo de LLM compatível com OpenAI V1 e, em seguida, selecione Criar conector. O Construtor de Conector é aberto com o modelo pré-preenchido.

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

Adicionar uma conexão no Integration Service

1. No Integration Service, navegue até Conexões e selecione Adicionar conexão.
2. Selecione o conector personalizado que você publicou.
3. Insira as credenciais do seu gateway. Para o Fireworks, essa é sua chave de API.
4. Selecione Conectar para provisionar a conexão.

Conclua a configuração do LLM

1. Retorne ao Administrador > AI Trust Layer > configurações do LLM e abra a configuração que você iniciou.

2. Em Configuração do modelo, defina Conector como seu conector publicado e Conexão como a conexão que você criou.

3. No campo Identificador do LLM , insira o identificador do modelo exatamente como aparece no seu gateway.

   Para modelos hospedados no Fireworks, o identificador segue o formato accounts/fireworks/models/<model-name>. Por exemplo: accounts/fireworks/models/glm-4p6.

   Observação:

   Espaços à direita no campo do identificador do LLM causam erros de conexão. Verifique se não há espaços à esquerda ou à direita antes de salvar.

4. Selecione Configuração de teste para executar a investigação da AI Trust Layer.

5. Se a investigação for bem-sucedida, selecione Salvar.

Resultado

A configuração é salva e o modelo OSS está disponível para o produto e a funcionalidade que você especificou. As chamadas são encaminhadas por meio da AI Trust Layer e aparecem no log de auditoria em Origem: conexão personalizada. Para verificar, execute um agente usando o modelo recém-adicionado e verifique os traces e os logs de auditoria da AI Trust Layer para confirmar que o modelo esperado foi invocado.

Observação:

Se você encontrar problemas ao criar um conector personalizado, entre em contato com o Suporte da UiPath para obter assistência.