Avaliação de desempenho do modelo

Avalie o desempenho do modelo IXP no nó Extract do UiPath Maestro™ Flow usando o resumo de avaliação e as métricas de campo e documento de cada execução de avaliação.

Visão geral

Você pode avaliar o desempenho do modelo de um nó de extração de fluxo nos seguintes locais:

• Guia Definição – Mostra um resumo da avaliação mais recente, incluindo a pontuação F1.
• Guia Execuções de avaliação - Lista todas as execuções de avaliação, incluindo a taxa de erro do documento de cada execução, e mostra o desempenho do grupo de campos, campo e documento de cada execução.

Pontuação de integridade do nó

A pontuação de integridade do nó resume o desempenho da versão atual do modelo de um nó Flow Extract . Ele aparece nos seguintes lugares:

• O painel de propriedades do nó de Extração de Fluxo.
• A guia Definição . Para abri-la, passe o mouse sobre o nó Flow Extract e selecione Abrir visualização completa.

A pontuação de integridade mostra o seguinte:

• Pontuação F1 – A média das pontuações F1 de todos os campos na taxonomia.
• Rating - Good, Fair, or Poor.
• Documentos anotados - O número de documentos anotados.
• A versão do modelo de onde vem a pontuação e o modelo de extração usado por essa versão.

A pontuação F1 é codificada por cores da seguinte forma:

Cor	F1 Score
Verde	80% or higher
Amarelo	40% to 79%
Vermelho	Below 40%

A pontuação de integridade é gerada a partir de execuções de avaliação que incluem todos os documentos anotados no conjunto de dados do nó. As execuções de avaliação em um subconjunto de documentos não afetam a pontuação de integridade.

Para visualizar as execuções de avaliação por trás da pontuação, selecione o nome do modelo, por exemplo, Gemini 2.5 Flash. As execuções são abertas na guia Execuções de avaliação .

Observação:

Os modelos saudáveis têm uma pontuação Boa e sem avisos de desempenho de campo.

Avaliação na aba Execuções de avaliação

Each evaluation run outputs the performance of a model version tested on a selection of the annotated documents in the dataset of the node. A new model version is created when you run an evaluation that includes changes not yet evaluated, such as changes to your taxonomy, including instructions, or to the model configuration. Making these changes does not create a model version by itself. For details, check Changes not evaluated.

Visualização de execuções de avaliação

Para visualizar as execuções de avaliação de um nó, proceda da seguinte forma:

1. Passe o mouse sobre o nó Flow Extract e selecione Abrir visualização completa.

2. Navegue até a aba Execuções de avaliação .

   

A lista mostra os seguintes detalhes para cada execução de avaliação:

• Nome — o nome da execução de avaliação.
• Versão - A versão do modelo avaliada na execução. As execuções que correspondem à definição de nó atual mostram o rótulo de def atual de Correspondências .
• Status — o status da execução: Concluído, Cancelado, Em execução ou Com falha.
• Pontuação F1 – A pontuação F1 média em todos os campos.
• Taxa de erro do documento - A média das taxas de erro dos documentos anotados.
• Documentos - O número de documentos avaliados.
• Iniciado - Quando a execução começou.
• Duração — quanto tempo a execução levou.

Para filtrar a lista por status, selecione o ícone de filtro e selecione uma ou mais das seguintes opções: Em execução, Concluído, Com falha ou Cancelado.

Para mostrar ou ocultar colunas, selecione o ícone de colunas e, em seguida, selecione as colunas para exibir.

Para iniciar uma nova avaliação, selecione Executar avaliação. Para obter detalhes, consulte Executar uma avaliação.

Taxa de erros no documento

Você pode visualizar a taxa de erro do documento de cada execução de avaliação na coluna Taxa de erro do documento da guia Execuções de avaliação .

A taxa de erros do documento é a proporção de erros que o modelo cometeu em um documento para o total de anotações nesse documento, ou seja, até que ponto as previsões do modelo diferem das anotações do usuário. As taxas de erro estão disponíveis apenas para documentos anotados.

O valor na coluna Taxa de erros do documento da guia Execuções de avaliação é calculado como a média simples da taxa de erros de cada documento totalmente anotado. Ele fornece um indicador rápido de quão propensos a erros estão os documentos quando a versão do modelo avaliada os processa, o que ajuda a avaliar a prontidão para implantação.

Observação:

A taxa de erro do documento pode exceder 100%, porque é calculada da seguinte forma:

• Taxa de erros do documento = Número de erros ü Total de anotações

Os erros incluem não apenas campos que foram anotados e extraídos incorretamente, mas também quaisquer previsões extras que o modelo fez que não têm anotação correspondente. Por exemplo, uma linha adicional que o modelo previu que um revisor não rotulou.

Como essas previsões extras contam como erros, mas não são adicionadas ao total de anotações, o número de erros pode exceder o número de anotações, resultando em uma taxa de erro acima de 100%.

Gerenciamento de execuções de avaliação

Para gerenciar uma execução de avaliação, proceda da seguinte forma:

1. No nó Flow Extract , navegue até a aba Execuções de avaliação .

2. Selecione as reticências na coluna Ações da execução e selecione uma das seguintes opções:

   • Exibir detalhes - Abre os detalhes da execução. Ou então, selecione a linha da execução.
   • Executar novamente - Executa a avaliação novamente.
   • Exportar como JSON - Exporta a execução como um arquivo JSON.
   • Exportar como CSV - Exporta a execução como um arquivo CSV.
   • Exportar resultados da execução de avaliação - Exporta os resultados da execução.
   • Excluir - Exclui a execução.

   

Você pode exportar dados de execuções de avaliação para análises offline, filtragem personalizada ou compartilhamento de resultados com partes interessadas.

Você também pode reverter o nó Extrair para uma versão do modelo anterior na aba Execuções de avaliação .

Detalhes da execução de avaliação

Os detalhes de uma execução de avaliação ajudam você a avaliar o desempenho de uma versão de modelo em documentos anotados antes de implantá-la.

Para abrir os detalhes de uma execução de avaliação, proceda da seguinte forma:

1. Passe o mouse sobre o nó Flow Extract e selecione Abrir visualização completa.

2. Na aba Execuções de avaliação , selecione a linha de uma execução de avaliação. Os detalhes da execução são abertos, incluindo sua tabela de desempenho do documento . A página mostra os seguintes detalhes da execução:

   • Latência, que é a latência de extração. Passe o mouse sobre o valor para visualizar os percentis de latência em documentos.
   • A pontuação de execução, que é a média das pontuações F1 de todos os campos.

   

3. Selecione uma das seguintes visualizações:

   • By document - Shows the Document performance table, with one row per document. By default, the table shows the following columns: F1 score, Doc error rate, Total errors, Total annotations, and Annotated values.
   • Por campo - Mostra a tabela Desempenho do campo .

Tabela Desempenho do campo

A tabela Desempenho do campo, disponível na guia Execuções de avaliação , na visualização Por campo de uma execução de avaliação, é a principal maneira de analisar o desempenho do modelo. Ela exibe uma linha por campo ou grupo de campos, junto com métricas de desempenho e erro calculadas para os documentos anotados. A tabela não leva em conta documentos não anotados e parcialmente anotados ao calcular métricas.

A tabela ajuda a responder a perguntas como:

• Quais campos limitam o desempenho geral do modelo?
• Os erros estão concentrados em alguns campos ou distribuídos de forma mais ampla?
• Uma alteração recente no modelo melhorou ou degradou campos específicos?

A tabela inclui várias categorias de métricas que ajudam a analisar o desempenho do modelo a partir de diferentes perspectivas. Cada categoria responde a uma pergunta de diagnóstico específica sobre como seu modelo se comporta em campos e documentos.

Por padrão, a tabela mostra as seguintes colunas:

• F1 Score
• Taxa de Erro
• Total de erros
• Total de anotações
• Valores anotados
• Documentos com erros
• Documentos anotados

A pontuação F1 de cada campo e grupo de campos é codificada por cores usando os mesmos intervalos que a pontuação de integridade do nó:

• Verde - O campo tem um bom desempenho.
• Yellow - The performance of the field is less than satisfactory.
• Vermelho - O campo está com um desempenho ruim.

Para mostrar ou ocultar métricas, selecione Colunas e, em seguida, selecione as métricas de cada categoria.

Para encontrar um grupo de campos ou campo específico, use a caixa Pesquisar campos .

Filtragem e classificação

Para filtrar linhas na tabela, selecione um ou mais filtros rápidos disponíveis na aba Execuções de avaliação . Cada filtro rápido mostra o número de linhas às quais ele corresponde:

• Valores anotados < 10
• Pontuação F1 do campo < 50
• Pontuação F1 do campo entre 50 e 70

Você também pode ordenar a tabela por qualquer métrica na tabela. Quando ordenados, os valores são classificados dentro de seu respectivo grupo de campos. Por exemplo, ao ordenar a tabela por pontuação F1, os campos dentro de cada grupo de campos são ordenados de forma relativa entre si.

Métricas de desempenho

A finalidade das métricas de desempenho é avaliar a qualidade geral da extração para cada campo ou grupo de campos.

As métricas de desempenho são descritas da seguinte forma:

• Pontuação F1 – A média harmônica entre precisão e recall: F1 = 2 × (Precisão × Recall) / (Precisão + Recall). A pontuação F1 permanece alta apenas quando a precisão e o recall são altos. Na prática, isso torna F1 um forte indicador de qualidade geral para tarefas de extração nas quais é importe evitar valores incorretos e evitar valores perdidos. Portanto, é útil analisar F1 como uma métrica inicial para avaliar alterações de desempenho de campos em versões de modelos.
• Precisão - Mede a frequência com que os valores previstos estão corretos: Precisão = Positivos verdadeiros / (Positivos verdadeiros + Falsos positivos). Os verdadeiros positivos são previsões que correspondem ao valor anotado, excluindo valores anotados como ausentes.
• Recall - Mede a frequência com que o modelo encontra um valor quando ele existe: Recall = Positivos verdadeiros / (Positivos verdadeiros + Falsos negativos). Os falsos negativos são valores anotados que o modelo não previu, excluindo valores anotados como ausentes.
• Taxa de erro – Total de erros / Total de anotações. Os valores marcados como ausentes são incluídos na contagem de erros e anotações.
• Taxa de erro excluindo valores ausentes - (Erros totais – Previsões extras) / Valores anotados. Os valores anotados marcados como ausentes são excluídos.

Previsões e erros

A finalidade das métricas de previsões e compreender é entender o volume e a composição de erros que contribuem para o baixo desempenho.

As métricas são descritas da seguinte forma:

• Total de erros – Número total de erros para um campo em todas as classes de erros: Total de erros = Valores incorretos + Previsões perdidas + Previsões extras.
• Previsões totais – Número total de valores previstos para um campo: Previsões totais = Valores corretos + Ausências corretas + Valores incorretos.
• Valores incorretos - Número de previsões em que o valor extraído não corresponde à anotação. Exclui previsões e valores anotados marcados como ausentes.
• Previsões perdidas – Número de valores anotados que o modelo não conseguiu extrair.
• Previsões extras – Número de valores previstos que o modelo não deveria ter extraído ou que não possuem uma anotação correspondente ou possuem uma anotação marcada como ausente
• Valores corretos – Número de valores previstos que correspondem exatamente à anotação.
• Ausência correta – Número de instâncias em que o modelo previu corretamente que um valor está ausente.

Anotações

A finalidade das métricas de anotações é fornecer contexto para o quanto de dados rotulados é compatível com cada métrica e o quão confiáveis são as pontuações de desempenho.

As métricas são descritas da seguinte forma:

• Total de anotações – Número total de anotações, incluindo valores marcados como ausentes: Total de anotações = Valores anotados + Valores anotados marcados como ausentes.
• Valores anotados – Número total de valores de campo anotados, excluindo aqueles marcados como ausentes.
• Anotado como ausente - Número total de vezes que um campo foi rotulado explicitamente como ausente.

Métricas do documento

A finalidade das métricas de documentos é entender como os erros são distribuídos em documentos em vez de apenas em previsões.

As métricas são descritas da seguinte forma:

• Documentos com erros - Número total de documentos em que o campo tem pelo menos um erro.
• Documentos anotados - Número total de documentos em que o campo tem pelo menos um valor de campo anotado.
• % de documentos com erros – Porcentagem de documentos anotados que contêm pelo menos um erro para o campo: Documentos com erros / Documentos anotados.

Comparando versões do modelo

Quando várias execuções de avaliação estiverem disponíveis, você pode comparar o desempenho de uma execução com uma execução anterior. Dessa forma, você pode entender melhor o impacto das alterações em instruções de campo, alterações em anotações ou atualizações de configuração de modelos.

Por padrão, a tabela compara a execução selecionada com a execução anterior. As diferenças de pontuação aparecem ao lado de cada valor, com uma seta que indica se o valor aumentou ou diminuiu.

Para comparar com uma execução diferente, proceda da seguinte forma:

1. Na visualização de campo Por de uma execução de avaliação, selecione o menu suspenso Comparar com .

   

2. Selecione uma das seguintes opções:

   • Uma execução anterior, listada por número de execução, conjunto de dados, data e versão do modelo.
   • Sem comparação - Oculta diferenças de pontuação.

   

Exemplos de cenários

Cenário 1: F1 baixa + Precisão baixa, mas o Recall é moderado ou alto

O que você observa

F1 é baixa, a Precisão é baixa e o Recall é moderado ou alto.

O que isso geralmente significa

• O modelo está extraindo valores para um campo, mas há mais valores previstos do que o esperado.
• Causas raiz comuns:
  • A instrução do campo é ampla demais ou ambígua. Por exemplo, a instrução do campo é capturar a quantidade, mas não especifica qual quantidade.
  • O documento possui valores semelhantes que podem ser confundidos, por exemplo, subtotal versus total, endereço de entrega versus endereço de cobrança.

O que fazer em seguida

Compare os valores incorretos e previsões extras para identificar se o problema está ligado à extração do valor errado (contagem de valores incorretos diferente de zero) ou se o valor não deveria ter sido extraído (contagem de previsões extras diferente de zero).

Refine as instruções de campo com desambiguadores, como rótulos, palavras-chave e restrições de formatação.

Cenário 2: as Previsões perdidas são altas (o Recall é baixo), a Precisão é moderada ou alta

O que você observa

• O Recall é baixo e a Precisão é moderada ou alta (F1 é normalmente baixa ou moderada).
• As Previsões perdidas são altas, geralmente mais do que valores incorretos ou previsões extras.

O que isso geralmente significa

• O modelo não está conseguindo extrair valores que estão presentes.
• Causas raiz comuns:
  • A instrução do campo é muito restrita, ou seja, os exemplos são excessivamente limitados ou os requisitos de rótulo são específicos demais.
  • O valor aparece em vários formatos, como em datas e IDs, e a instrução não abrange variantes.

O que fazer em seguida

• Use Previsões perdidas + Valores anotados para confirmar que isso é um problema de recall, ou seja, que os valores existem, mas não estão sendo encontrados. Verifique os Valores anotados para confirmar que há uma quantidade razoável de pontos de dados anotados para o campo e as Previsões perdidas para confirmar que o modelo está tendo dificuldade em localizar os valores, em vez de prevê-los incorretamente.
• Expanda as instruções para incluir variantes aceitáveis: rótulos ou sinônimos alternativos, múltiplos padrões de formatação, dicas de localização (por exemplo, próximo aos detalhes do solicitante ou na seção do mutuário).

Cenário 3: Taxa de erro alta, mas poucos Documentos com erros (erros concentrados em alguns documentos).

O que você observa

• A Taxa de erro é alta ou o Total de erros é alto.
• Poucos Documentos com erros em relação aos Documentos anotados.
• Muitas vezes, um campo parece ter desempenho ruim, mas falha apenas em um pequeno subconjunto de documentos.

O que isso geralmente significa

• Os erros são impulsionados por documentos atípicos, não por comportamento sistêmico do campo.
• Causas raiz comuns:
  • Um documento ou formato específico se comporta de maneira diferente do resto.
  • Problemas de OCR ou de qualidade em um pequeno número de documentos, como digitalizações borradas, desalinhamento e sobreposições manuscritas.
  • O campo está presente na maioria dos documentos, mas aparece com formatação incomum em alguns, por exemplo, em várias linhas em vez de uma única linha.

O que fazer em seguida

• Compare Documentos com erros e Documentos anotados e, opcionalmente, a porcentagem de Documentos com erros para confirmar a concentração.
• Alterne para a visualização Por documento da execução de avaliação, classifique documentos por pontuação e inspecione os documentos com a pontuação mais baixa para identificar se o campo está tendo um desempenho ruim em um subconjunto específico.

Cenário 4: grandes oscilações no desempenho entre versões com poucas anotações

O que você observa

• Grandes diferenças em F1 ou na taxa de erro entre versões do modelo (para cima ou para baixo), mas Valores anotados é baixo, Documentos anotados é baixo, ou ambos.

O que isso geralmente significa

• As métricas de campo ainda não são estáveis devido ao tamanho pequeno da amostra.
• Causas raiz comuns:
  • Poucos exemplos - 1 a 2 documentos podem alterar significativamente as taxas.
  • O campo raramente está presente, ou seja, muitos casos ausentes e poucos valores verdadeiros.
  • Um pequeno conjunto de documentos difíceis domina a métrica.

O que fazer em seguida

• Verifique Valores anotados, Documentos anotados e Anotado como ausente para validar a baixa cobertura.
• Trate as métricas como direcionais, não definitivas, até que a cobertura aumente.
• Adicione mais dados rotulados especificamente para esse campo: priorize documentos nos quais o campo esteja presente e inclua um conjunto diversificado de amostras ou variantes.
• Use comparações entre versões apenas quando a cobertura for suficiente para reduzir o ruído causado por variabilidade.