Pipelines de avaliação

Um pipeline de avaliação é usado para avaliar um modelo de ML treinado.

Avalie um modelo treinado

Configure o pipeline de avaliação da seguinte maneira:

• No campo Pipeline type, selecione Execução de avaliação.
• No campo Escolha o pacote, selecione o pacote que deseja avaliar.
• No campo Escolha a versão principal do pacote, selecione uma versão principal para o seu pacote.
• No campo Escolha a versão secundária do pacote, selecione uma versão secundária que deseja avaliar.
• No campo Escolher conjunto de dados de avaliação, selecione um conjunto de dados de avaliação representativo.
• Na seção Insira os parâmetros, há uma variável de ambiente relevante para pipelines de avaliação que você pode usar:
• eval.redo_ocr que, se definido como verdadeiro, permite que você execute novamente o OCR ao executar o pipeline para avaliar o impacto do OCR na precisão da extração. Isso pressupõe que um mecanismo de OCR foi configurado quando o pacote de ML foi criado.
• O controle deslizante Habilitar GPU está desabilitado por padrão; nesse caso, o pipeline é executado na CPU. É altamente recomendável que os pipelines de avaliação sejam executados apenas na CPU.

• Selecione uma das opções quando o pipeline deve ser executado: Executar agora, Agendado ou Recorrente.

  
  

  

  
  

Após configurar todos os campos, clique em Criar. O pipeline é criado.

Artefatos

Para um pipeline de avaliação, o painel Saídas também inclui uma pasta artefatos / eval_metrics que contém dois arquivos:

• evaluation_default.xlsx é uma planilha do Excel com três planilhas diferentes:
• A primeira planilha apresenta um resumo das pontuações gerais e das pontuações por lote, para cada campo, campos Regular, Coluna e Classificação. Uma porcentagem dos documentos perfeitamente extraídos também é fornecida para documentos por lote e, em geral.
• A segunda planilha apresenta uma comparação lado a lado, codificada por cores, de Campos Regulares, para aumentar a precisão do documento. Os documentos mais imprecisos são apresentados na parte superior para facilitar o diagnóstico e a solução de problemas.

• A terceira planilha apresenta uma comparação de cores lado a lado, codificada, dos Campos da Coluna.

  Todas as pontuações apresentadas no arquivo Excel representam pontuações de precisão.

• evaluation_metrics_default.txt contém as pontuações F1 dos campos previstos.