Punto final de servicio de consultas

Descripción

Los agentes de Databricks conectan de forma segura tus datos con cualquier modelo de IA para crear aplicaciones precisas y específicas del dominio. A través de Mosaic AI Gateway, los agentes que utilizan muchos marcos diferentes pueden implementarse y asignarse puntos finales de servicio (Servicio de modelos de IA de Mosaic).

Esta actividad permite el uso de agentes de Databricks como participantes en un proceso automatizado orquestado por Maestro.

Crear el agente de Databricks

Los agentes genéricos basados en LLM, la extracción de información y otros tipos de agentes dentro de .Databricks se pueden utilizar con el conector del agente de Databricks siempre que estén asignados y expuestos a través de puntos finales de servicio. En la mayoría de los casos, la integración con Maestro requiere que el agente represente su salida en un esquema JSON estructurado. Los agentes de extracción de información en Databricks son un buen ejemplo. Sin embargo, se puede pedir a cualquier agente que responda en un esquema simple y bien definido utilizando ejemplos.

Cómo usar la actividad

Para utilizar esta actividad en un proceso agéntico de Maestro, sigue estos pasos:

1. Añade un elemento de tarea de servicio al lienzo y abre el panel Propiedades de la tarea.
2. Nombra la tarea de servicio Databricks Hello World.
3. En la sección Implementación , en la lista desplegable Acción , selecciona Iniciar y esperar al agente externo.
4. Selecciona el conector del agente de Databricks .
5. Seleccione una conexión existente o cree una nueva. Para obtener más información, consulta Autenticación del agente de Databricks.

6. En Actividad, selecciona Punto final de servicio de consultas.

7. En Punto final de servicio, selecciona un agente creado previamente en Databricks.
8. En Opciones adicionales, en el campo Contenido del mensaje , introduce "What can you do?". Asegúrate de incluir las comillas en la solicitud.
   

9. Conecta el evento de inicio a la tarea de servicio y la tarea de servicio a un nodo de evento final en el lienzo.

10. Selecciona Depurar para ejecutar este proceso. Después de una ejecución correcta, revisa las variables globales y busca la respuesta {:} del origen: Databricks Hello World. Toma nota de la estructura de la respuesta.

    Por ejemplo, esta es la respuesta del agente a la pregunta "¿Qué puedes hacer?":

    {
      "id": "bf185700-c100-41be-9d4b-6a8aee2d8444",
      "databricks_output": {
        "databricks_request_id": "bf185700-c100-41be-9d4b-6a8aee2d8444"
      },
      "messages": [
        {
          "role": "assistant",
          "id": "run--38ced1fa-f810-49c2-87fc-e831e5ffb1d0-0",
          "content": "I can provide information and answer questions to the best of my ability. I can also execute Python code in a stateless sandboxed environment using the provided function. If you have a specific question or task in mind, feel free to ask and I'll do my best to assist you."
        }
      ]
    }

La salida del agente debe asignarse a una variable de proceso para que pueda influir en el progreso del proceso de Maestro, por ejemplo, para tomar una decisión basada en una evaluación booleana, o para utilizar la respuesta de una tarea de clasificación.

1. En el modo Diseño, selecciona el agente en el lienzo de diseño.

2. En el panel Propiedades , selecciona Añadir nuevo y nombra la variable agent_reponse.

3. Para Valor, selecciona Databricks Hello World > Respuesta > Matriz de mensajes > Contenido del mensaje (cadena).

Consejo: en la práctica, especifica la salida estructurada de tu elección desde el agente y luego evalúa la salida dentro de Maestro utilizando el editor de expresiones para extraer la parte específica de la salida que necesitas en el tipo necesario para tu flujo de proceso.

Ejemplo de gestión de la salida del agente en Maestro utilizando el editor de expresiones:

Si la solicitud era:

"¿Cuál es la capital de Francia?" respuesta en un JSON solo en forma de {"capital":"Normandy") solo salida JSON

La respuesta es result.reponse.messages[0].content (tipo string):

{"capital":"Paris"}

Si queremos convertirlo a JSON, crea una nueva variable de tipo JSON, por ejemplo answer_in_JSON y utiliza el editor de expresiones:

js:JSON.parse(result.response.messages[0].content)

El resultado de la expresión js es (tipo JSON):

{
  "capital": "Paris"
}

Solución de problemas y ajustes

Más allá de establecer la conectividad, debes probar las solicitudes tanto en el espacio de trabajo de Databricks como desde Maestro. Esto garantiza que logres el resultado deseado que Maestro puede consumir mejor, asignarlo a variables y transmitirlo a otros actores en el proceso.

Recomendamos que las solicitudes detalladas permanezcan dentro de las solicitudes del sistema del agente dentro de Databricks. La solicitud de usuario que Maestro proporciona al agente en tiempo de ejecución debe ser breve y concisa. Su función es principalmente indicar las variables relevantes que necesita el agente para realizar tareas específicas y generar una salida consistente esperada.

La salida dirigida a humanos, por ejemplo, los motivos de una escalada, puede pasar fácilmente como texto natural para el humano. La salida que se espera para una acción de API/robot debe estar estrictamente compuesta. Aquí hay un ejemplo de solicitud de usuario que produce una salida específica de un agente. Utiliza el editor de expresiones C# dentro de Studio para añadir variables según sea necesario.

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

El agente responderá con:

{"Order_Quantity":"100"}

Presta especial atención a los tipos en tu solicitud al agente y en la respuesta real. Incluso si la respuesta parece de tipo JSON, en realidad puede ser de tipo string.