How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

Nota:

This capability is currently generally available for enterprise customers upon request.

Esta guía explica cómo conectar un modelo de código abierto alojado en una puerta de enlace de IA a través de la característica de configuraciones de LLM de AI Trust Layer. Creas un conector de Integration Service personalizado utilizando la plantilla compatible con OpenAI V1 y lo configuras con tus credenciales de puerta de enlace e identificador de modelo.

Los pasos utilizan Fireworks como puerta de enlace de ejemplo, pero cualquier puerta de enlace compatible con OpenAI funciona.

Requisitos previos

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• Una cuenta en una puerta de enlace de IA compatible con OpenAI (por ejemplo, Fireworks) con acceso al modelo que desea utilizar
• El identificador del modelo tal y como aparece en tu puerta de enlace (por ejemplo, accounts/fireworks/models/glm-4p6 para GLM en Fireworks)
• Credenciales de API para su cuenta de puerta de enlace
• Organization administrator access in Test Cloud
• Acceso a Integration Service y Connector Builder

Configurar el LLM en AI Trust Layer

1. Ve a Admin > AI Trust Layer > Configuraciones de LLM y selecciona Añadir configuración.

2. Establece los valores de Tenant, Producto y Característica .

   Nota:

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. Establece Tipo de API en el tipo de API que corresponda a tu modelo. Para la mayoría de los modelos de chat, selecciona Finalizaciones de chat.

5. En el campo Conector , selecciona Crear conector personalizado.

6. Selecciona la plantilla LLM compatible con OpenAI V1 y luego selecciona Crear conector. El Creador de conectores se abre con la plantilla rellenada previamente.

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

Añadir una conexión en Integration Service

1. En Integration Service, ve a Conexiones y selecciona Añadir conexión.
2. Selecciona el conector personalizado que has publicado.
3. Introduce tus credenciales de puerta de enlace. Para Fireworks, esta es tu clave API.
4. Selecciona Conectar para aprovisionar la conexión.

Completar la configuración de LLM

1. Vuelve a Admin > AI Trust Layer > Configuraciones de LLM y abre la configuración que iniciaste.

2. En Configuración del modelo, establece Conector en tu conector publicado y Conexión en la conexión que creaste.

3. En el campo Identificador de LLM , introduce el identificador del modelo exactamente como aparece en tu puerta de enlace.

   Para los modelos alojados en Fireworks, el identificador sigue el formato accounts/fireworks/models/<model-name>. Por ejemplo: accounts/fireworks/models/glm-4p6.

   Nota:

   Los espacios finales en el campo del identificador de LLM provocan errores de conexión. Verifique que no haya espacios iniciales o finales antes de guardar.

4. Selecciona Probar configuración para ejecutar la sonda AI Trust Layer.

5. Si el sondeo es correcto, selecciona Guardar.

Resultado

La configuración se guarda y el modelo OSS está disponible para el producto y la característica que has especificado. Las llamadas se enrutan a través de la AI Trust Layer y aparecen en el registro de auditoría en Origen: Conexión personalizada. Para verificar, ejecuta un agente utilizando el modelo recién añadido y comprueba los seguimientos y los registros de auditoría de AI Trust Layer para confirmar que se invocó el modelo esperado.

Nota:

Si tienes problemas al crear un conector personalizado, ponte en contacto con el soporte de UiPath para obtener ayuda.