Guía práctica: conectar modelos OSS a través de AI Trust Layer

Esta guía explica cómo conectar un modelo de código abierto alojado en una puerta de enlace de IA a través de la característica de configuraciones de LLM de AI Trust Layer. Creas un conector de Integration Service personalizado utilizando la plantilla compatible con OpenAI V1 y lo configuras con tus credenciales de puerta de enlace e identificador de modelo.

Los pasos utilizan Fireworks como puerta de enlace de ejemplo, pero cualquier puerta de enlace compatible con OpenAI funciona.

Requisitos previos

• BYO AI Gateway habilitado en tu clúster. Para obtener más información, consulta Configurar AI Trust Layer.
• Una cuenta en una puerta de enlace de IA compatible con OpenAI (por ejemplo, Fireworks) con acceso al modelo que desea utilizar
• El identificador del modelo tal y como aparece en tu puerta de enlace (por ejemplo, accounts/fireworks/models/glm-4p6 para GLM en Fireworks)
• Credenciales de API para su cuenta de puerta de enlace
• Acceso de administrador de la organización en Automation Suite
• Acceso a Integration Service y Connector Builder

Configurar el LLM en AI Trust Layer

1. Ve a Admin > AI Trust Layer > Configuraciones de LLM y selecciona Añadir configuración.

2. Establece los valores de Tenant, Producto y Característica .

   Nota:

   Puedes seleccionar cualquier producto que admita BYOM, por ejemplo, Agentes, Actividades de IA generativa o Agentes codificados.

3. En Configuración del modelo, selecciona Añadir alias personalizado e introduce el nombre del modelo OSS.

4. Establece Tipo de API en el tipo de API que corresponda a tu modelo. Para la mayoría de los modelos de chat, selecciona Finalizaciones de chat.

5. En el campo Conector , selecciona Crear conector personalizado.

6. Selecciona la plantilla LLM compatible con OpenAI V1 y luego selecciona Crear conector. El Creador de conectores se abre con la plantilla rellenada previamente.

7. Configura y guarda el conector y, a continuación, publícalo.

Añadir una conexión en Integration Service

1. En Integration Service, ve a Conexiones y selecciona Añadir conexión.
2. Selecciona el conector personalizado que has publicado.
3. Introduce tus credenciales de puerta de enlace. Para Fireworks, esta es tu clave API.
4. Selecciona Conectar para aprovisionar la conexión.

Completar la configuración de LLM

1. Vuelve a Admin > AI Trust Layer > Configuraciones de LLM y abre la configuración que iniciaste.

2. En Configuración del modelo, establece Conector en tu conector publicado y Conexión en la conexión que creaste.

3. En el campo Identificador de LLM , introduce el identificador del modelo exactamente como aparece en tu puerta de enlace.

   Para los modelos alojados en Fireworks, el identificador sigue el formato accounts/fireworks/models/<model-name>. Por ejemplo: accounts/fireworks/models/glm-4p6.

   Nota:

   Los espacios finales en el campo del identificador de LLM provocan errores de conexión. Verifique que no haya espacios iniciales o finales antes de guardar.

4. Selecciona Probar configuración para ejecutar la sonda AI Trust Layer.

5. Si el sondeo es correcto, selecciona Guardar.

Resultado

La configuración se guarda y el modelo OSS está disponible para el producto y la característica que has especificado. Las llamadas se enrutan a través de la AI Trust Layer y aparecen en el registro de auditoría en Origen: Conexión personalizada. Para verificar, ejecuta un agente utilizando el modelo recién añadido y comprueba los seguimientos y los registros de auditoría de AI Trust Layer para confirmar que se invocó el modelo esperado.

Nota:

Si tienes problemas al crear un conector personalizado, ponte en contacto con el soporte de UiPath para obtener ayuda.