Avaliações (pré-visualização)

Automated quality checks for BPMN workflows, with evaluation sets, deterministic and LLM-judge evaluators, and node output simulations.

Evaluations let you define automated quality checks for a BPMN workflow. You group expected outcomes into an evaluation set, and each execution is scored against the evaluators you attach.

Evaluations use the same evaluation framework already available for AI agents and Flow, so workflows with non-deterministic steps can be verified before they ship.

Conceitos

• Conjunto de dados — uma coleção de pontos de dados que têm o mesmo assunto. A execução do conjunto pontua o fluxo de trabalho em relação a cada ponto de dados de uma só vez.
• Ponto de dados — um único caso: um conjunto de valores de entrada e a saída esperada para essas entradas. Você pode criar um ponto de dados manualmente ou capturar um de uma execução real.
• Avaliador — um classificador que compara a saída real com a saída esperada ou a trajetória com uma trajetória esperada e produz uma pontuação.
• Pontuação — o resultado que um avaliador relata para um ponto de dados.

Conjuntos de avaliação no nível do BPMN

An evaluation set targets the whole BPMN workflow. It is pinned to a trigger entry point, and each data point supplies the trigger's inputs and the workflow's expected output.

Conjuntos de avaliação no nível do nó fixar uma avaliação em um único nó, para que cada ponto de dados forneça as entradas desse nó e sua saída esperada. As avaliações no nível do nó não fazem parte desta visualização pública.

Avaliadores

BPMN evaluators fall into two families.

Determinista

Esses avaliadores comparam a saída com a saída esperada exatamente, sem nenhum modelo no loop.

• Contém — verifica se a saída contém uma substring esperada.
• Correspondência exata — verifica se a saída é igual ao valor esperado.
• Similaridade do JSON — compara a saída e a saída esperada como JSON.

Juiz de LLM

Esses avaliadores usam um modelo para julgar a saída em relação à saída esperada.

• Similaridade semântica da saída — julga se a saída significa o mesmo que a saída esperada.
• Similaridade rigorosa de saída JSON — julga a saída JSON em relação ao JSON esperado.
• Similaridade de trajetória — julga as etapas que o agente seguiu em relação a uma trajetória esperada.
• Simulação de trajetória — julga uma trajetória simulada.

Captura de um ponto de dados de uma execução

Você não tem que criar cada ponto de dados manualmente. Você pode criar um importando uma execução real: quando você captura uma execução de depuração, suas entradas e saídas se tornam a entrada e a saída esperada do ponto de dados.

Capturar uma execução é uma maneira rápida de gerar um conjunto de avaliação a partir do comportamento real que você já observara.

Quando usar avaliações

As avaliações são mais úteis quando:

• You are building BPMN workflows that invoke AI agents and need to verify that the agent's output meets quality expectations before publishing.
• Você precisa de cobertura de regressão, e a execução de avaliações após cada alteração confirma que o comportamento existente não foi interrompido.
• Você deseja comparar implementações alternativas executando avaliações em duas versões do mesmo fluxo de trabalho.

Resultados da avaliação

Os resultados são armazenados no histórico de avaliação e podem ser revisados a qualquer momento. Eles são visíveis para os usuários que os executam e podem ser exportados como JSON ou CSV. Traces individuais dentro de uma execução de avaliação também podem ser exportados.

A aba Histórico de execuções de avaliação mostra, para cada execução:

• Pontuações por avaliador, juntamente com a justificativa do classificador
• Resultados de pontos de dados individuais, com valores reais e esperados lado a lado
• O trace completo: o que disparou a execução, o caminho que seguiu, saída por nó e tempo

O rastreamento e a justificativa do classificador indicam o que precisa mudar para que o fluxo de trabalho seja executado corretamente em cada caso.

Exemplo: classificação de emails de suporte

A BPMN workflow uses an AI agent to classify customer support emails. Before publishing, you set up an evaluation set with 10 data points:

• 5 emails classificados como "billing"
• 3 emails classificados como "technical"
• Dois emails ambíguos, tratados como casos extremos

Cada ponto de dados define o valor de saída classification esperado ou um escalonamento acionado para um humano para os e-mails ambíguos. Um avaliador de correspondência exata nas pontuações de classificação de cada resultado para "billing" ou "technical", e um avaliador de trajetória verifica o escalonamento humano. Cada execução mostra em quais casos o agente errou antes que o fluxo de trabalho fosse para produção.

Simulações de nós

As simulações substituem saídas de nós selecionadas durante uma execução de avaliação, para que você possa testar a lógica subsequente sem executar a ação real de um nó. Isso é útil quando a ação real é lenta, cara ou depende de sistemas externos que não estão disponíveis durante o projeto.

Quando uma simulação é habilitada em um nó, a execução ignora a execução real desse nó e usa os valores de saída simulados diretamente. Todos os nós subsequentes recebem os valores simulados como se o nó tivesse sido executado normalmente.

As simulações são aplicáveis apenas durante execuções de teste. Eles nunca estão ativos em fluxos de trabalho de produção publicados.

Estratégias de simulação

Cada nó simulado usa uma de duas estratégias:

• Simulação estática — uma simulação baseada em regras que sempre retorna o valor que você define.
• Simulação gerada — uma resposta gerada pelo LLM, produzida dinamicamente cada vez que a avaliação é executada.

Configuração de uma simulação

Configure uma simulação em qualquer nó cuja saída real você deseja substituir durante uma execução de avaliação. A sequência a seguir mostra o fluxo completo, desde a seleção do nó até a entrada da saída simulada.

1. Selecione o nó que você deseja simular na tela.
2. No painel de configuração, abra Adicionar simulação.
3. Escolha a estratégia de simulação para o nó.
4. Insira a saída simulada para a estratégia que você escolheu:
   1. Para Simulação estática, insira os valores de saída, editando o JSON manualmente ou gerando-o com a funcionalidade de prompt. Use JSON válido que corresponda ao esquema de saída do nó.
   2. Para Simulação gerada, insira a solicitação que o modelo usa para gerar uma resposta de ferramenta em cada execução de avaliação.

Result: The node is simulated. On the next test run, BPMN skips its real execution and injects your values downstream instead.

Nós que você pode simular

As simulações são úteis nos seguintes tipos de nó:

• Tarefa humana — retorna uma resposta aprovada ou rejeitada sem esperar um aprovador real.
• Solicitação HTTP — retorna uma resposta de API específica, incluindo respostas de erro, para que você possa testar seus caminhos de tratamento de erros.
• Agente — retorna a saída de um agente de IA, para que você possa testar como seu fluxo de trabalho lida com diferentes respostas do agente.
• Conexão — retorna a saída de um nó de conexão, para que você possa testar o fluxo de trabalho sem fazer alterações em aplicativos externos.

Disponibilidade e licenciamento

• As avaliações estão disponíveis para usuários com os tipos de licença e planos de licenciamento de organização do Automation Cloud detalhados em Licenciamento.
• Node simulations, mock generation using LLM features inside evaluations, and LLM-judge evaluators are free of charge during preview. BPMN executions in design consume from the monthly user limits.

Restrições conhecidas

• As avaliações no nível do nó não estão disponíveis.
• BPMN evaluations have no CLI skills support.

Páginas relacionadas

• Depuração
• Simulação
• Uso de agentes
• Processos de teste