Ponto de extremidade de serviço de consulta

Description

Os agentes do Databricks conectam de forma segura seus dados a qualquer modelo de IA para criar aplicativos precisos e específicos do domínio. Por meio do gateway de IA do Mosaic, agentes que usam muitas estruturas diferentes podem ser implantados e atribuídos a pontos de extremidade de serviço (Serviço de modelo de IA do Mosaic).

Essa atividade permite o uso de agentes do Databricks como participantes de um processo automatizado orquestrado pelo Maestro.

Criando o agente Databricks

Agentes baseados em LLM genéricos, extração de informações e outros tipos de agentes dentro do .Databricks podem ser usados com o conector do agente Databricks desde que sejam atribuídos e expostos por meio de pontos de extremidade de serviço. Na maioria dos casos, a integração com o Maestro requer que o Agente renderize sua saída em um esquema JSON estruturado. Os agentes de extração de informações no Databricks são um bom exemplo. No entanto, qualquer agente pode ser solicitado a responder em um esquema simples e bem definido usando exemplos.

Como usar a atividade

Para usar essa atividade em um processo com agente do Maestro, siga estas etapas:

1. Adicione um elemento de tarefa de serviço à tela e abra o painel de Propriedades da tarefa.
2. Nomeie a tarefa de serviço Databricks Hello World.
3. Na seção Implementação , na lista suspensa Ação , selecione Iniciar e aguardar agente externo.
4. Selecione o conector do agente Databricks .
5. Selecione uma conexão existente ou crie uma nova. Para obter mais informações, consulte Autenticação do agente do Databricks.

6. De Atividade, selecione Ponto de extremidade de serviço de consulta.

7. Em Ponto de extremidade de serviço, selecione um agente criado anteriormente em Databricks.
8. Em Opções adicionais, no campo Conteúdo da mensagem , insira "What can you do?". Certifique-se de incluir as aspas no prompt.
   

9. Conecte o evento de início à tarefa de serviço, e a tarefa de serviço a um nó de evento final na tela.

10. Selecione Depurar para executar esse processo. Após uma execução bem-sucedida, revise as variáveis globais e procure a resposta {:} da origem: Databricks Hello World. Tome nota da estrutura da resposta.

    Por exemplo, esta é a resposta do agente ao prompt "O que você pode fazer?":

    {
      "id": "bf185700-c100-41be-9d4b-6a8aee2d8444",
      "databricks_output": {
        "databricks_request_id": "bf185700-c100-41be-9d4b-6a8aee2d8444"
      },
      "messages": [
        {
          "role": "assistant",
          "id": "run--38ced1fa-f810-49c2-87fc-e831e5ffb1d0-0",
          "content": "I can provide information and answer questions to the best of my ability. I can also execute Python code in a stateless sandboxed environment using the provided function. If you have a specific question or task in mind, feel free to ask and I'll do my best to assist you."
        }
      ]
    }

A saída do agente deve ser atribuída a uma variável de processo para que possa influenciar o progresso do processo do Maestro, por exemplo, para tomar uma decisão com base em uma avaliação booleana ou para usar a resposta de uma tarefa de classificação.

1. No modo de Design, selecione o agente na tela de design.

2. No painel Propriedades , selecione Adicionar novo e nomeie a variável agent_reponse.

3. Para Valor, selecione Hello World do Databricks > Resposta > Matriz de mensagem > Conteúdo da mensagem (string).

Dica: na prática, especifique a saída estruturada de sua escolha do agente e, em seguida, avalie a saída dentro do Maestro usando o Editor de expressão para extrair a parte específica da saída de que você precisa no tipo necessário para o seu fluxo de processo.

Exemplo de manipulação da saída do agente no Maestro usando o Editor de expressão:

Se o prompt foi:

"Qual é a capital da França?" resposta em um JSON apenas na forma de {"maior":"Normandy") apenas saída JSON

A resposta é result.reponse.messages[0].content (tipo string):

{"maior":"Paris"}

Se quisermos convertê-la para JSON, crie uma nova variável do tipo JSON, por exemplo answer_in_JSON e use o editor de Expressão:

js:JSON.parse(result.response.messages[0].content)

O resultado da expressão js é (tipo JSON):

{
  "capital": "Paris"
}

Solução de problemas e ajuste

Além de estabelecer a conectividade, você deve testar prompts tanto no espaço de trabalho do Databricks quanto no Maestro. Isso garante que você alcance a saída desejada que pode ser mais bem consumida pelo Maestro, atribuída a variáveis e passada para outros agentes no processo.

Recomendamos que os prompts detalhados permaneçam dentro dos prompts do sistema do agente dentro do Databricks. O prompt do usuário que é fornecido pelo Maestro ao agente no runtime deve ser breve e direto ao ponto. Sua função é principalmente indicar as variáveis relevantes necessárias para o agente executar tarefas específicas e gerar uma saída consistente esperada.

A saída destinada a humanos, por exemplo, os motivos de um escalonamento, pode ser facilmente passada como texto natural para o humano. A saída esperada para uma ação de API/robô deve ser estritamente composta. Aqui está um exemplo de prompt de usuário que produz uma saída específica de um agente. Use o editor de expressão do C# dentro do Studio para adicionar variáveis conforme necessário.

"What is the quantity on inventory of Order ID " + vars.orderId_1 + "respond only with a JSON object with the quantity in the key Order_Quantity. No explanations, only JSON"

O agente responderá com:

{"Order_Quantity":"100"}

Preste atenção especial aos tipos em sua solicitação ao agente e na resposta real. Mesmo que a resposta tenha aparência do tipo JSON, na verdade ela pode ser do tipo string.