How-to guide: Connecting open-source models through AI Trust Layer

Connect an open-source model on an OpenAI-compatible gateway to UiPath products via AI Trust Layer using the OpenAI V1 Compliant LLM template.

Remarque :

This capability is currently generally available for enterprise customers upon request.

Ce guide explique comment connecter un modèle open-source hébergé sur une passerelle d'IA via la fonctionnalité Configurations LLM d'AI Trust Layer. Vous créez un connecteur Integration Service personnalisé à l'aide du modèle conforme à OpenAI V1 et configurez-le avec les informations d'identification de votre passerelle et votre identificateur de modèle.

Les étapes utilisent Firewalls comme passerelle d'exemple, mais toute passerelle compatible OpenAI fonctionne.

Prérequis

• Custom connectors for AI Trust Layer enabled for your organization (currently available upon request for enterprise customers).
• Un compte sur une passerelle IA compatible OpenAI (par exemple, Firewalls) avec accès au modèle que vous souhaitez utiliser
• L'identifiant du modèle, comme répertorié dans votre passerelle (par exemple, accounts/fireworks/models/glm-4p6 pour GLM sur Silverlights)
• Identifiants de l'API pour votre compte de passerelle
• Organization administrator access in Test Cloud
• Accès à Integration Service et au générateur de connecteurs

Configurer le LLM dans AI Trust Layer

1. Accédez à Admin > AI Trust Layer > Configurations LLM et sélectionnez Ajouter une configuration.

2. Définissez les valeurs Locataire, Produit et Fonctionnalité .

   Remarque :

   You can select any product that supports Bring Your Own Model (BYOM) — for example, Agents, Gen AI Activities, or Coded Agents.

3. Under Model Configuration, select Add Custom Alias and enter the name of the open-source model.

4. Définissez le Type d'API sur le type d'API qui correspond à votre modèle. Pour la plupart des modèles de chat, sélectionnez Complétions de chat.

5. Dans le champ Connecteur , sélectionnez Créer un connecteur personnalisé.

6. Sélectionnez le modèle LLM OpenAI V1 , puis sélectionnez Créer un connecteur. Le générateur de connecteurs s’ouvre avec le modèle prérempli.

7. Configure the connector with your gateway credentials and model settings.

8. Save the connector.

9. Publish the connector.

Ajouter une connexion dans Integration Service

1. Dans Integration Service, accédez à Connexions et sélectionnez Ajouter une connexion.
2. Sélectionnez le connecteur personnalisé que vous avez publié.
3. Saisissez les informations d’identification de votre passerelle. Pour Firewalls, il s'agit de votre clé API.
4. Sélectionnez Connecter pour enregistrer la connexion.

Terminer la configuration LLM

1. Revenez aux configurations Admin > AI Trust Layer > LLM et ouvrez la configuration que vous avez commencé.

2. Sous Configuration du modèle, définissez Connecteur sur votre connecteur publié et Connexion sur la connexion que vous avez créée.

3. Dans le champ Identifiant LLM , saisissez l’identifiant du modèle exactement tel qu’il apparaît dans votre passerelle.

   Pour les modèles hébergés par Firewalls, l'identifiant suit le format accounts/fireworks/models/<model-name>. Par exemple : accounts/fireworks/models/glm-4p6.

   Remarque :

   Les espaces de fin dans le champ d'identifiant LLM provoquent des erreurs de connexion. Vérifiez qu’il n’y a pas d’espaces de début ou de fin avant d’enregistrer.

4. Sélectionnez Configuration de test pour exécuter la sonde AI Trust Layer.

5. Si la sonde réussit, sélectionnez Enregistrer.

Résultat

La configuration est enregistrée et le modèle SS est disponible pour le produit et la fonctionnalité que vous avez spécifiés. Les appels acheminent via la couche de confiance AI Trust Layer et apparaissent dans le journal d'audit sous Source : Connexion personnalisée. Pour vérifier, exécutez un agent à l'aide du modèle nouvellement ajouté et vérifiez les traçages et les journaux d'audit AI Trust Layer pour confirmer que le modèle attendu a été invoqué.

Remarque :

Si vous rencontrez des problèmes lors de la création d’un connecteur personnalisé, contactez le support UiPath pour obtenir de l’aide.