Pipelines de avaliação

Um pipeline de avaliação é usado para avaliar um modelo de ML treinado.

Avalie um modelo treinado

Configure o pipeline de avaliação da seguinte maneira:

• No campo Pipeline type, selecione Execução de avaliação.
• No campo Escolha o pacote, selecione o pacote que deseja avaliar.
• No campo Escolha a versão principal do pacote, selecione uma versão principal para o seu pacote.
• No campo Escolha a versão secundária do pacote, selecione uma versão secundária que deseja avaliar.
• No campo Escolha uma conjunto de dados de avaliação, selecione um conjunto de dados de avaliação representativo.
• Na seção Insira os parâmetros, há uma variável de ambiente relevante para pipelines de avaliação que você pode usar:
• eval.redo_ocr que, se definido como verdadeiro, permite que você execute novamente o OCR ao executar o pipeline para avaliar o impacto do OCR na precisão da extração. Isso pressupõe que um mecanismo de OCR foi configurado quando o pacote de ML foi criado.
• O controle deslizante Habilitar GPU está desabilitado por padrão; nesse caso, o pipeline é executado na CPU. É altamente recomendável que os pipelines de avaliação sejam executados apenas na CPU.

• Selecione uma das opções quando o pipeline deve ser executado: Executar agora, Agendado ou Recorrente.

  
  

  

  
  
• Após configurar todos os campos, clique em Criar. O pipeline é criado.

Artefatos

Para um pipeline de avaliação, o painel Saídas também inclui uma pasta artefatos / eval_metrics que contém dois arquivos:

• evaluation_default.xlsx é uma planilha do Excel com uma comparação lado a lado da informação real versus o valor previsto para cada campo previsto pelo modelo, bem como uma métrica de precisão por documento, em ordem crescente de precisão. Assim, os documentos mais imprecisos são apresentados na parte superior para facilitar o diagnóstico e a solução de problemas.
• evaluation_metrics_default.txt contém as pontuações F1 dos campos que foram previstos.
• Para itens de linha, uma pontuação global é obtida para todas as colunas juntas.