Pipelines de avaliação

Um pipeline de avaliação é usado para avaliar um modelo de ML treinado.

Avalie um modelo treinado

Configure o pipeline de avaliação da seguinte maneira:

No campo Pipeline type, selecione Execução de avaliação.
No campo Escolha o pacote, selecione o pacote que deseja avaliar.
No campo Escolha a versão principal do pacote, selecione uma versão principal para o seu pacote.
No campo Escolha a versão secundária do pacote, selecione uma versão secundária que deseja avaliar.
No campo Escolher conjunto de dados de avaliação, selecione um conjunto de dados de avaliação representativo.
Na seção Insira os parâmetros, há uma variável de ambiente relevante para pipelines de avaliação que você pode usar:
eval.redo_ocr que, se definido como verdadeiro, permite que você execute novamente o OCR ao executar o pipeline para avaliar o impacto do OCR na precisão da extração. Isso pressupõe que um mecanismo de OCR foi configurado quando o pacote de ML foi criado.
O controle deslizante Habilitar GPU está desabilitado por padrão; nesse caso, o pipeline é executado na CPU. É altamente recomendável que os pipelines de avaliação sejam executados apenas na CPU.
Selecione uma das opções quando o pipeline deve ser executado: Executar agora, Agendado ou Recorrente.

Após configurar todos os campos, clique em Criar. O pipeline é criado.

Para um pipeline de avaliação, o painel Saídas também inclui uma pasta artefatos / eval_metrics que contém dois arquivos:

evaluation_default.xlsx é uma planilha do Excel com três planilhas diferentes:
A primeira planilha apresenta um resumo das pontuações gerais e das pontuações por lote, para cada campo, campos Regular, Coluna e Classificação. Uma porcentagem dos documentos perfeitamente extraídos também é fornecida para documentos por lote e, em geral.
A segunda planilha apresenta uma comparação lado a lado, codificada por cores, de Campos Regulares, para aumentar a precisão do documento. Os documentos mais imprecisos são apresentados na parte superior para facilitar o diagnóstico e a solução de problemas.
A terceira planilha apresenta uma comparação de cores lado a lado, codificada, dos Campos da Coluna.

Todas as pontuações apresentadas no arquivo Excel representam pontuações de precisão.
evaluation_metrics_default.txt contém as pontuações F1 dos campos previstos.