Guide pratique: Connecter des modèles open source via AI Trust Layer

Connectez un modèle open source sur une passerelle compatible OpenAI aux produits UiPath via AI Trust Layer à l’aide du modèle LLM conforme à OpenAI V1.

Remarque :

Cette fonctionnalité est actuellement généralement disponible pour les clients Enterprise sur demande.

Ce guide explique comment connecter un modèle open-source hébergé sur une passerelle d'IA via la fonctionnalité Configurations LLM d'AI Trust Layer. Vous créez un connecteur Integration Service personnalisé à l'aide du modèle conforme à OpenAI V1 et configurez-le avec les informations d'identification de votre passerelle et votre identificateur de modèle.

Les étapes utilisent Firewalls comme passerelle d'exemple, mais toute passerelle compatible OpenAI fonctionne.

Prérequis

• Connecteurs personnalisés pour AI Trust Layer activés pour votre organisation (actuellement disponibles sur demande pour les clients Enterprise).
• Un compte sur une passerelle IA compatible OpenAI (par exemple, Firewalls) avec accès au modèle que vous souhaitez utiliser
• L'identifiant du modèle, comme répertorié dans votre passerelle (par exemple, accounts/fireworks/models/glm-4p6 pour GLM sur Silverlights)
• Identifiants de l'API pour votre compte de passerelle
• Accès à l'administrateur de l'organisation dans Test Cloud
• Accès à Integration Service et au générateur de connecteurs

Configurer le LLM dans AI Trust Layer

1. Accédez à Admin > AI Trust Layer > Configurations LLM et sélectionnez Ajouter une configuration.

2. Définissez les valeurs Locataire, Produit et Fonctionnalité .

   Remarque :

   Vous pouvez sélectionner n’importe quel produit qui prend en charge l’élément Apportez votre propre modèle, par exemple Agents, GenAI Activities ou Coded Agents.

3. Sous Configuration du modèle, sélectionnez Ajouter un alias personnalisé et saisissez le nom du modèle open source.

4. Définissez le Type d'API sur le type d'API qui correspond à votre modèle. Pour la plupart des modèles de chat, sélectionnez Complétions de chat.

5. Dans le champ Connecteur , sélectionnez Créer un connecteur personnalisé.

6. Sélectionnez le modèle LLM OpenAI V1 , puis sélectionnez Créer un connecteur. Le générateur de connecteurs s’ouvre avec le modèle prérempli.

7. Configurez le connecteur avec vos informations d'identification de passerelle et les paramètres de modèle.

8. Enregistrez le connecteur.

9. Publiez le connecteur.

Ajouter une connexion dans Integration Service

1. Dans Integration Service, accédez à Connexions et sélectionnez Ajouter une connexion.
2. Sélectionnez le connecteur personnalisé que vous avez publié.
3. Saisissez les informations d’identification de votre passerelle. Pour Firewalls, il s'agit de votre clé API.
4. Sélectionnez Connecter pour enregistrer la connexion.

Terminer la configuration LLM

1. Revenez aux configurations Admin > AI Trust Layer > LLM et ouvrez la configuration que vous avez commencé.

2. Sous Configuration du modèle, définissez Connecteur sur votre connecteur publié et Connexion sur la connexion que vous avez créée.

3. Dans le champ Identifiant LLM , saisissez l’identifiant du modèle exactement tel qu’il apparaît dans votre passerelle.

   Pour les modèles hébergés par Firewalls, l'identifiant suit le format accounts/fireworks/models/<model-name>. Par exemple : accounts/fireworks/models/glm-4p6.

   Remarque :

   Les espaces de fin dans le champ d'identifiant LLM provoquent des erreurs de connexion. Vérifiez qu’il n’y a pas d’espaces de début ou de fin avant d’enregistrer.

4. Sélectionnez Configuration de test pour exécuter la sonde AI Trust Layer.

5. Si la sonde réussit, sélectionnez Enregistrer.

Résultat

La configuration est enregistrée et le modèle SS est disponible pour le produit et la fonctionnalité que vous avez spécifiés. Les appels acheminent via la couche de confiance AI Trust Layer et apparaissent dans le journal d'audit sous Source : Connexion personnalisée. Pour vérifier, exécutez un agent à l'aide du modèle nouvellement ajouté et vérifiez les traçages et les journaux d'audit AI Trust Layer pour confirmer que le modèle attendu a été invoqué.

Remarque :

Si vous rencontrez des problèmes lors de la création d’un connecteur personnalisé, contactez le support UiPath pour obtenir de l’aide.