Gerenciamento de avaliações de runtime (pré-visualização)

Valide agentes implantados contra conjuntos de dados sob demanda ou em um agendamento recorrente.

Um agente que passou nos seus testes no período de design ainda pode falhar na produção. Os modelos são atualizados, as entradas derivam e as ferramentas que seu agente chama mudam sem aviso. Se você avaliar apenas antes de enviar, seus usuários são aqueles que encontrarão essas falhas.

As avaliações de runtime são executadas no próprio agente implantado, para que os resultados reflitam o que está em produção, não uma cópia do período de design. Execute-as após cada alteração e de acordo com um cronograma para capturar regressões antes que seus usuários o façam.

Para avaliar um agente enquanto você ainda o está criando, consulte Avaliações.

Avalie o que o agente fez, não apenas a saída

Um agente pode retornar a resposta certa pelo caminho errado: ele chama uma ferramenta que não deveria ter, pula uma etapa que deveria realizar ou faz um loop três vezes antes de chegar lá. Uma verificação na saída final não detectará nada disso e, na produção, são essas falhas que custam você.

Cada ponto de dados é pontuado pelos avaliadores vinculados ao seu conjunto de dados. Você adiciona avaliadores na visualização Avaliadores . Eles vêm em três categorias, e cada uma detecta um tipo diferente de falha; então, combine mais de uma.

Os avaliadores de validação de saída executam verificações determinísticas. Elas são econômicas e dão sempre o mesmo resultado.

• Contém texto: passa quando a saída contém o texto que você especifica.
• Correspondência Exata: passa quando a saída corresponde exatamente à saída esperada.
• Similaridade JSON: é aprovado quando a estrutura JSON da saída é semelhante à esperada.

Os avaliadores juiz juiz usam um LLM para marcar a execução, para que aceitem respostas que estão corretas, mas redigidas de forma diferente.

• Saída do Julgamento do LLM: avalia se a saída corresponde à saída esperada em relação ao significado. O LLM juiz avaliador padrão usa esse tipo.
• LLM Julgamento JSON estrito: avalia se a saída corresponde estritamente à estrutura JSON esperada.
• Trajetória do Julgamento do LLM: avalia se a execução seguiu o comportamento esperado. Você ainda não pode usá-lo em execuções agendadas.
• Simulação de Julgamento do LLM: avalia o caminho de execução de uma execução que usa componentes simulados.

Os avaliadores de chamadas de ferramenta verificam como o agente usou suas ferramentas.

• Argumentos de chamada de ferramenta: verifica se o agente chama ferramentas com os argumentos corretos.
• Contagem de chamadas de ferramenta: verifica quantas vezes o agente chama cada ferramenta.
• Ordem das chamadas de ferramenta: verifica se o agente chamado de ferramentas na sequência esperada.
• Saída da chamada de ferramenta: verifica se as saídas da ferramenta correspondem aos valores esperados.

Cada resultado do avaliador vem com uma pontuação e um trace de execução completo, para que você possa ver onde uma execução deu errado. Os avaliadores com Julgamento via LLM também explicam sua pontuação com uma justificativa. Trate os resultados como uma lista de tarefas para melhorar seu agente: exporte suas execuções e use habilidades de CLI para analisá-las. Por exemplo, você pode:

• Classifique as falhas que mais importam, para corrigir os problemas de maior impacto primeiro.
• Verifique se seus conjuntos de dados cobrem todas as instruções na solicitação do agente e adicione pontos de dados para aqueles que eles não têm.
• Encontre casos de uso que seu agente gerencia na produção que seus conjuntos de dados ainda não testam.

Criar conjuntos de dados a partir de tráfego real

Um conjunto de dados é um conjunto de pontos de dados. Cada um contém as entradas que você envia para o agente e a saída que você espera de volta. Você pode escrever pontos de dados manualmente, mas não é necessário. Existem três outras fontes, e as execuções de produção são as mais representativas porque incluem entradas que você não pensou em testar:

• Execuções de produção. As execuções concluídas do seu agente implantado podem ir diretamente para um conjunto de dados. Vale a pena adicionar primeiro falhas e casos extremos ímpares, porque esses são os casos para se proteger. Consulte Adicionar uma execução de produção a um conjunto de dados.
• Exemplos gerados. Use habilidades de CLI para gerar pontos de dados quando você precisar de uma cobertura que o agente ainda não tenha visto. Consulte Agentes no guia de Codificação de agentes.
• Suas equipes de negócios. Use habilidades de CLI para importar casos de teste (JSON ou CSV) de pessoas que sabem como é uma resposta correta. Para tarefas com excesso de julgamento, eles devem definir os caminhos de saída, trajetória ou escalonamento esperados.

Antes de confiar em um ponto de dados, revise sua saída esperada. O formulário de ponto de dados corresponde aos esquemas de entrada e saída esperados do seu agente e adverte você quando a saída esperada não corresponde às chaves na saída do agente.

Simular ferramentas com efeitos colaterais

Uma execução de avaliação envia cada ponto de dados para seu agente implantado. Se as ferramentas do agente estiverem ativas, a execução as dispara: envia o e-mail, grava o registro e cria o escalonamento para um humano lidar. Se você não quiser esses efeitos downstream na produção, simule cada ferramenta e escalonamento que muda algo fora do agente. Isso inclui etapas de intervenção humana (HITL), portanto, uma avaliação não coloca o trabalho na fila de uma pessoa.

Cada componente simulado começa com seu esquema de saída preenchido. Você pode simulá-lo de duas maneiras:

• Simulação estática. O componente retorna a mesma resposta em cada execução, por exemplo, uma etapa HITL que aprova sempre ou uma ferramenta que sempre retorna a mesma saída. As simulações são precisas e baratas; então, use-as sempre que uma resposta fixa for suficiente.
• Resposta gerada. Você descreve a resposta que deseja que o agente veja, e uma nova é gerada a cada vez que a avaliação é executada. Use isso quando o agente precisar lidar com respostas variadas.

Executar em cada alteração e de acordo com um agendamento

Você pode iniciar uma execução de avaliação sob demanda ou a partir de um agendamento.

• Sob demanda: execute seus conjuntos de dados após cada alteração em algo do qual o agente depende, como o modelo, a solicitação, uma ferramenta ou um sistema conectado, para capturar uma regressão antes que ela se expanda. Use os mesmos conjuntos de dados no tempo de design e no runtime, e execute-os primeiro no tempo de design.
• Em um cronograma: uma execução recorrente detecta descompassos. A frequência certa depende da velocidade com que suas entradas e dependências mudam. Um agente de alto volume que entra em contato com os sistemas de mudança precisa de uma cadência mais rigorosa do que um que não o faz.

Agende uma avaliação

Um agendamento executa um conjunto de dados inteiro. Para criar um:

1. Em Gerenciamento de instâncias de agentes, selecione Agentes.
2. Selecione o agente implantado.
3. Selecione a aba Avaliações .
4. Na visualização Agendamentos , selecione Novo agendamento.
5. Defina a data de início e a data de término. Os horários são exibidos em seu fuso horário local.
6. Defina a recorrência, ou seja, com que frequência o conjunto de dados é executado.
7. Escolha o conjunto de dados a ser executado. O primeiro conjunto de dados do agente é selecionado por padrão.
8. Salve o agendamento.

Cada execução agendada usa o conjunto de dados como está quando a execução começa. Se você adicionar, editar ou remover pontos de dados, a próxima execução coletará as alterações automaticamente, portanto, você não precisará reagendar.

Depois de criar um agendamento, você pode pausar e retomá-lo, alterar a frequência de execução ou excluí-lo. A visualização Agendamentos lista apenas os agendamentos na pasta do agente implantado.

Leia os resultados

Abra uma execução na visualização Execuções de avaliação para ver:

• O status da execução e a pontuação geral
• Quantos pontos de dados passaram
• O status e a pontuação de cada ponto de dados

Uma pontuação geral informa se algo mudou. Ele não quer dizer o que. Selecionar um ponto de dados mostra:

• Justificativa: por que o avaliador deu essa pontuação.
• Entrada, Saída esperada e saída esperada versus real: os valores do ponto de dados, ao lado do que o agente realmente produziu.
• Trace: o que o agente fez durante a execução. O trace começa no período de execução do conjunto de avaliação e inclui a execução do agente, a saída do agente e um período de Avaliador para cada avaliador.

Quando a pontuação de um ponto de dados baixa, ou o agente está errado ou a saída esperada está. Se o agente estiver errado, isso será uma regressão. Se a saída esperada estiver errada, o ponto de dados precisará de correção para que o conjunto de dados permaneça confiável.

Onde as avaliações de runtime ficam

Abra Registro do agente > Agentes e selecione um agente implantado. Sua guia Avaliações possui quatro visualizações:

Exibir	Para que serve
Conjuntos de dados	Crie e gerencie pontos de dados e veja os avaliadores vinculados de cada conjunto de dados e a última atualização.
Avaliadores	Escolha como cada ponto de dados é pontuado. Se seu agente não tiver nenhum, os avaliadores padrão serão criados, e o conjunto de dados padrão será vinculado apenas ao Avaliador de Julgamento do LLM.
Execuções de avaliação	Revise execuções anteriores, incluindo pontuações e traces.
Agendamentos	Execute conjuntos de dados de forma recorrente.

O que você pode fazer na aba Avaliações depende de suas permissões na pasta do agente implantado. Sem eles, as ações de edição e execução ficam ocultas ou indisponíveis, e a guia é somente leitura.

As avaliações de runtime são armazenadas separadamente do pacote do agente. Você pode alterar conjuntos de dados, pontos de dados e avaliadores sem republicar o agente. Os arquivos anexados a pontos de dados ficam nos buckets de armazenamento do Orchestrator, e você os gerencia na aba Avaliações , não na página Buckets do Orchestrator.

Adicionar uma execução de produção a um conjunto de dados

Você pode transformar uma execução concluída do seu agente implantado em um ponto de dados. A saída da execução se torna a saída esperada do ponto de dados. Portanto, verifique se ela está correta antes de adicioná-la. Uma resposta errada salva aqui se torna a resposta com base na qual execuções futuras serão pontuadas.

Antes de começar

• Crie pelo menos um conjunto de dados na visualização Conjuntos de dados da aba Avaliações .
• Certifique-se de que o agente tenha pelo menos uma execução concluída.

Etapas

1. Em Gerenciamento de instâncias de agentes, selecione Agentes.
2. Selecione o agente implantado.
3. Selecione a aba Revisar execuções .
4. Na linha da execução, selecione o ícone na coluna Adicionar ao conjunto de dados . Se a caixa de diálogo de feedback da execução estiver aberta, selecione Adicionar ao conjunto de dados lá.
5. Em Conjunto de dados, escolha um conjunto de dados. A primeira é selecionada por padrão.
6. Opcionalmente, insira um Nome do ponto de dados. Se você deixar em branco, o ponto de dados é nomeado após o trace, por Trace 083869d6.
7. Revise os valores de Entrada e Saída esperada .
8. Selecione Adicionar ponto de dados.

Uma mensagem de confirmação nomeia o conjunto de dados e o ponto de dados aparece nele na guia Avaliações .

Limitações

• As execuções agendadas ainda não são compatíveis com o avaliador de trajetória com Julgamento via LLM .
• As avaliações online não estão disponíveis.
• As avaliações de runtime do Maestro não estão disponíveis.