Pipelines de avaliação

Um pipeline de avaliação é usado para avaliar um modelo de ML treinado.

Avalie um modelo treinado

Configure o pipeline de avaliação da seguinte maneira:

• No campo Pipeline type, selecione Execução de avaliação.

• No campo Escolha a versão principal do pacote, selecione uma versão principal para o seu pacote.

• No campo Escolha a versão secundária do pacote, selecione uma versão secundária que você avaliar.

• In the Choose evaluation dataset field, select a representative evaluation dataset. For more information on dataset structure, check the Dataset format section.

• Na seção Inserir parâmetros, há uma variável de ambiente relevante para pipelines de avaliação que você pode usar:

• eval.redo_ocr que, se definido como verdadeiro, permite que você execute novamente o OCR ao executar o pipeline para avaliar o impacto do OCR na precisão da extração. Isso pressupõe que um mecanismo de OCR foi configurado quando o pacote de ML foi criado.

• O controle deslizante Habilitar GPU está desabilitado por padrão; nesse caso, o pipeline é executado na CPU. É altamente recomendável que os pipelines de avaliação sejam executados apenas na CPU.

• Selecione uma das opções para a execução do pipeline: Executar agora, Agendado ou Recorrente.

  

• Após configurar todos os campos, clique em Criar. O pipeline é criado.

Artefatos

Para um pipeline de avaliação, o painel Saídas também inclui uma pasta artefatos / eval_metrics que contém dois arquivos:

• evaluation_default.xlsx é uma planilha do Excel com três planilhas diferentes:
• A primeira planilha apresenta um resumo das pontuações gerais e das pontuações por lote, para cada campo, campos Regular, Coluna e Classificação. Uma porcentagem dos documentos perfeitamente extraídos também é fornecida para documentos por lote e, em geral.
• A segunda planilha apresenta uma comparação lado a lado, codificada por cores, de Campos Regulares, para aumentar a precisão do documento. Os documentos mais imprecisos são apresentados na parte superior para facilitar o diagnóstico e a solução de problemas.
• A terceira planilha apresenta uma comparação de cores lado a lado, codificada, dos Campos da Coluna.
• Todas as pontuações apresentadas no arquivo Excel representam pontuações de precisão.
• evaluation_metrics_default.txt contém as pontuações F1 dos campos previstos.