Visão geral

O processo de avaliação para versões de modelo do IXP no nó Extract do UiPath Maestro™ Flow, cobrindo avaliação de desempenho e verificações de precisão necessárias antes de implantar um modelo em produção.

A avaliação do desempenho do modelo é fundamental para garantir a precisão e a confiabilidade do modelo antes de ser implantado em um ambiente de produção.

O processo de avaliação do modelo

Pré-requisito: anotar documentos. Você precisa da verdade fundamental para um conjunto representativo de documentos para comparar as previsões do modelo.

1. Execute uma avaliação em um conjunto selecionado de documentos.
2. Analise o desempenho do modelo revisando os resultados no nível de campo e no nível de documento da execução de avaliação. Ambos ajudam você a identificar os fatores que limitam a precisão do seu modelo.
3. Aja em suas descobertas: tente uma configuração de modelo diferente, itere nas instruções de campo em sua taxonomia ou corrija anotações.
4. Execute novamente uma avaliação, no mesmo conjunto de documentos ou em um subconjunto específico que você deseja testar.
5. Compare o desempenho das duas execuções de avaliação. Ao comparar versões de modelos, recomendamos usar o mesmo conjunto de dados.
6. Repita esse processo até que o modelo atenda às metas de desempenho necessárias para ser bem-sucedido na produção.

Onde visualizar o desempenho do modelo

As seguintes partes do produto mostram as métricas e pontuações do seu modelo:

• Pontuação de integridade - Exibida no nó Extração de fluxo em dois locais: o painel de propriedades e a guia Definição no controle imersivo. Também mostra de qual versão do modelo a pontuação veio e qual modelo de extração foi usado.
• Histórico de execuções de avaliação - Lista cada execução de avaliação para o nó, com a pontuação F1 e a taxa de erro do documento de cada execução. Selecione uma execução para ver seus detalhes.
• Tabela Desempenho do campo - Disponível na visualização Por campo de uma execução. Mostra uma linha por campo ou grupo de campos, com métricas de desempenho e erro calculadas para os documentos anotados.
• Document performance table - Available in the By document view of a run. Shows one row per document, with its F1 score, document error rate, total errors, total annotations, and annotated values.

Para obter detalhes sobre cada métrica, consulte Avaliação de desempenho do modelo.

Melhores práticas

• Anote pelo menos 10 valores para cada campo na taxonomia, em o maior número de documentos exclusivos possível (idealmente 10), para obter um modelo significativo e pontuação de campo.