Point de terminaison du service de requête

Description

Les agents Databricks connectent en toute sécurité vos données à n’importe quel modèle d’IA, afin de créer des applications précises spécifiques au domaine. Par le biais de la passerelle IA Automation, les agents qui utilisent de nombreuses infrastructures différentes peuvent être déployés et des points de terminaison de service peuvent être déployés (Mautomatisation des services de modèle d'IA).

Cette activité permet d'utiliser des agents Databricks comme participants dans un processus automatisé orchestré par Maestro.

Créer l’agent Databricks

Les agents génériques basés sur LLM, l'extraction d'informations et d'autres types d'agents dans .Databricks peuvent être utilisés avec le connecteur Databricks Agent tant qu'ils sont affectés et exposés via des points de terminaison de service. Dans la plupart des cas, l'intégration avec Maestro nécessite que l'agent restitue sa sortie dans un schéma JSON structuré. Les agents d'extraction d'informations dans Databricks sont un bon exemple. Cependant, tout agent peut être invité à répondre dans un schéma simple bien défini à l'aide d'exemples.

Comment utiliser l’activité

Pour utiliser cette activité dans un processus agentique Maestro, procédez comme suit :

1. Ajoutez un élément de tâche de service à la zone de dessin et ouvrez le panneau Propriétés de la tâche.
2. Nommez la tâche de service Databricks Hello World.
3. Dans la section Implementation , de la liste déroulante Action , sélectionnez Start and wait for external agent.
4. Sélectionnez le connecteur Databricks Agent .
5. Sélectionnez une connexion existante ou créez-en une nouvelle. Pour plus d'informations, consultez la section Authentification de l'agent Databricks.

6. Dans Activité, sélectionnez Point de terminaison du service de requête.

7. Dans Point de terminaison de service, sélectionnez un agent précédemment créé dans Databricks.
8. Sous Options supplémentaires, dans le champ Contenu du message , saisissez "What can you do?". Assurez-vous d'inclure les guillemets dans l'invite.
   

9. Connectez l'événement de début à la tâche de service et la tâche de service à un nœud d'événement de fin sur le canevas.

10. Sélectionnez Déboguer pour exécuter ce processus. Après une exécution réussie, examinez les variables globales et recherchez la réponse {:} de la source : Databricks Bonjour le monde. Notez la structure de la réponse.

    Par exemple, il s'agit de la réponse de l'agent à l'invite « Que pouvez-vous faire ? » :

    {
      "id": "bf185700-c100-41be-9d4b-6a8aee2d8444",
      "databricks_output": {
        "databricks_request_id": "bf185700-c100-41be-9d4b-6a8aee2d8444"
      },
      "messages": [
        {
          "role": "assistant",
          "id": "run--38ced1fa-f810-49c2-87fc-e831e5ffb1d0-0",
          "content": "I can provide information and answer questions to the best of my ability. I can also execute Python code in a stateless sandboxed environment using the provided function. If you have a specific question or task in mind, feel free to ask and I'll do my best to assist you."
        }
      ]
    }

La sortie de l'agent doit être affectée à une variable de processus afin qu'il puisse influencer la progression du processus Maestro, par exemple pour prendre une décision basée sur une évaluation booléenne, ou pour utiliser la réponse d'une tâche de classification.

1. En mode Conception, sélectionnez l'agent dans le canevas de conception.

2. Dans le panneau Propriétés , sélectionnez Add new et nommez la variable agent_reponse.

3. Pour Valeur, sélectionnez Databricks Bonjour le monde > Réponse > Tableau de messages > Contenu du message (chaîne) ).

Astuce : en pratique, spécifiez la sortie structurée de votre choix à partir de l'agent, puis évaluez la sortie dans Maestro à l'aide de l'éditeur d'expressions pour extraire la partie spécifique de la sortie dont vous avez besoin dans le type nécessaire pour votre flux de processus.

Exemple de gestion de la sortie d'un agent dans Maestro à l'aide de l'éditeur d'expressions :

Si l’invite était :

« Quelle est la capital de la France ? » réponse dans un JSON uniquement sur la forme de {"capture":"Normandy()} » sortie JSON uniquement

La réponse est résultante.reponse.messages[0].content (type string) :

{" capital":" Secure"}

Si nous voulons le convertir en JSON, créez une nouvelle variable de type JSON, par exemple answer_in_JSON , et utilisez l' éditeur d'expressions :

js:JSON.parse(result.response.messages[0].content)

Le résultat de l'expression js est (type JSON) :

{
  "capital": "Paris"
}

Dépannage et réglage

Au-delà de l'établissement de la connectivité, vous devez tester les requêtes à la fois dans l'espace de travail Databricks ainsi qu'à partir de Maestro. Cela vous permet d'obtenir la sortie souhaitée qui peut être le mieux utilisée par Maestro, affectée à des variables et transmise aux autres acteurs du processus.

Nous recommandons que les requêtes détaillées restent dans les requêtes système de l'agent dans Databricks. La requête utilisateur fournie par Maestro à l'agent au moment de l'exécution doit être brève et dans le point. Son rôle consiste principalement à indiquer les variables pertinentes nécessaires à l'agent pour effectuer une tâche spécifique et générer un résultat attendu cohérent.

La sortie qui est destinée aux humains, par exemple les raisons d’une escalade, peut être facilement passée en texte naturel pour l’humain. La sortie attendue pour une action d’API/robot doit être strictement composée. Voici un exemple de requête utilisateur qui fournit une sortie spécifique à partir d'un agent. Utilisez l’ éditeur d’expression C# dans Studio pour ajouter des variables selon vos besoins.

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

L'agent répondra avec les informations suivantes :

{"Order_Quantity":"100"}

Faites particulièrement attention aux saisies de votre demande à l’agent et à la réponse réelle. Même si la réponse ressemble à du type JSON, elle peut être de type string.