Visão geral

Esta seção descreve o processo envolvido na validação do desempenho das versões do modelo em um projeto. A validação do desempenho do modelo é fundamental para garantir a precisão e a confiabilidade do modelo antes de ser implantado em um ambiente de produção.

O processo de validação do modelo

1. Avalie o desempenho do modelo comparando diferentes versões do modelo.
2. Reúna estatísticas de validação.
3. Refine o modelo até atingir o nível de desempenho adequado para seu caso de uso da seguinte forma:
   • Revise as previsões do modelo.
   • Refine o esquema de extração.

Interface do usuário

O painel da aba Medida inclui os seguintes detalhes:

• O desempenho de extrações completas para um grupo de campos específico e todos os campos de um grupo de campos.
• O desempenho médio de todos os campos em um grupo de campos específico.
• O desempenho individual no nível de campo.

A lista a seguir contém uma descrição de todos os indicadores de desempenho de campo:

• Dial vermelho – Um dial de desempenho de campo vermelho indica que não foram fornecidos exemplos anotados suficientes.
• Círculo âmbar – Um indicador de desempenho âmbar é exibido quando o desempenho de um campo é menos que satisfatório.
• Círculo vermelho – Um indicador de desempenho vermelho é exibido quando um campo está com um desempenho ruim.
• Recall – Entre as extrações verdadeiras, quantas extrações o modelo realmente previu.
• Precisão – Entre as extrações que o modelo aplicou, quantas extrações estavam realmente corretas.
• Pontuação F1 – Média harmônica entre precisão e recall.

Quando você entende o desempenho no nível de campo e o impacto de alterar as instruções de campo, isso pode ajudar você a determinar se o modelo está pronto para produção.

Melhores práticas

• Anotar pelo menos 10 documentos e 10 campos para obter uma pontuação significativa do projeto e do campo.
• Você deve decidir quando parar de treinar o modelo com base em suas necessidades de negócios específicas e objetivos do caso de uso. Isso significa que você pode exigir que certos campos tenham uma precisão e recuperação maiores do que outros.

Observação: os modelos de alta precisão minimizam os falsos positivos, enquanto os modelos de alta recuperação reduzem os falsos negativos.