Guide pratique : Connecter les modèles OPS via AI Trust Layer

Ce guide explique comment connecter un modèle open-source hébergé sur une passerelle d'IA via la fonctionnalité Configurations LLM d'AI Trust Layer. Vous créez un connecteur Integration Service personnalisé à l'aide du modèle conforme à OpenAI V1 et configurez-le avec les informations d'identification de votre passerelle et votre identificateur de modèle.

Les étapes utilisent Firewalls comme passerelle d'exemple, mais toute passerelle compatible OpenAI fonctionne.

Prérequis

• Passerelle d'IA BYO activée dans votre cluster. Pour de plus amples informations, consultez la section Configurer AI Trust Layer.
• Un compte sur une passerelle IA compatible OpenAI (par exemple, Firewalls) avec accès au modèle que vous souhaitez utiliser
• L'identifiant du modèle, comme répertorié dans votre passerelle (par exemple, accounts/fireworks/models/glm-4p6 pour GLM sur Silverlights)
• Identifiants de l'API pour votre compte de passerelle
• Accès à l'administrateur de l'organisation dans Automation Suite
• Accès à Integration Service et au générateur de connecteurs

Configurer le LLM dans AI Trust Layer

1. Accédez à Admin > AI Trust Layer > Configurations LLM et sélectionnez Ajouter une configuration.

2. Définissez les valeurs Locataire, Produit et Fonctionnalité .

   Remarque :

   Vous pouvez sélectionner n'importe quel produit qui prend en charge l'analyse BYOM, par exemple, Agents, Gen AI Activities, ou Agents codés.

3. Sous Configuration du modèle, sélectionnez Ajouter un alias personnalisé et saisissez le nom du modèle OS.

4. Définissez le Type d'API sur le type d'API qui correspond à votre modèle. Pour la plupart des modèles de chat, sélectionnez Complétions de chat.

5. Dans le champ Connecteur , sélectionnez Créer un connecteur personnalisé.

6. Sélectionnez le modèle LLM OpenAI V1 , puis sélectionnez Créer un connecteur. Le générateur de connecteurs s’ouvre avec le modèle prérempli.

7. Configurez et enregistrez le connecteur, puis publiez-le.

Ajouter une connexion dans Integration Service

1. Dans Integration Service, accédez à Connexions et sélectionnez Ajouter une connexion.
2. Sélectionnez le connecteur personnalisé que vous avez publié.
3. Saisissez les informations d’identification de votre passerelle. Pour Firewalls, il s'agit de votre clé API.
4. Sélectionnez Connecter pour enregistrer la connexion.

Terminer la configuration LLM

1. Revenez aux configurations Admin > AI Trust Layer > LLM et ouvrez la configuration que vous avez commencé.

2. Sous Configuration du modèle, définissez Connecteur sur votre connecteur publié et Connexion sur la connexion que vous avez créée.

3. Dans le champ Identifiant LLM , saisissez l’identifiant du modèle exactement tel qu’il apparaît dans votre passerelle.

   Pour les modèles hébergés par Firewalls, l'identifiant suit le format accounts/fireworks/models/<model-name>. Par exemple : accounts/fireworks/models/glm-4p6.

   Remarque :

   Les espaces de fin dans le champ d'identifiant LLM provoquent des erreurs de connexion. Vérifiez qu’il n’y a pas d’espaces de début ou de fin avant d’enregistrer.

4. Sélectionnez Configuration de test pour exécuter la sonde AI Trust Layer.

5. Si la sonde réussit, sélectionnez Enregistrer.

Résultat

La configuration est enregistrée et le modèle SS est disponible pour le produit et la fonctionnalité que vous avez spécifiés. Les appels acheminent via la couche de confiance AI Trust Layer et apparaissent dans le journal d'audit sous Source : Connexion personnalisée. Pour vérifier, exécutez un agent à l'aide du modèle nouvellement ajouté et vérifiez les traçages et les journaux d'audit AI Trust Layer pour confirmer que le modèle attendu a été invoqué.

Remarque :

Si vous rencontrez des problèmes lors de la création d’un connecteur personnalisé, contactez le support UiPath pour obtenir de l’aide.