Avaliar o sucesso do projeto

Você pode rastrear as métricas descritas nesta página para estabelecer o sucesso de seus projetos.

Principal métrica

A métrica mais relevante a ser seguida é o Tempo estimado economizado, expresso em número de horas. Essa métrica pode ser diretamente associada ao ROI, rastreia o tempo economizado com um processo do Document Understanding^TM em execução, considerando que um ser humano processa uma página de documento no tempo configurado. A métrica usa a seguinte fórmula:

{Tempo estimado salvo} = {número de documentos processados} * {x} (minutos) - {tempo de validação}

• Número de documentos processados: o número total de documentos processados usando a automação.
• x: o tempo que um usuário precisará para processar um documento sem automação.
• Tempo de validação: o tempo que o usuário gastou na Estação de Validação ou Classificação, validando todos os documentos processados. Isso é considerado 0 para documentos que não exigem validação.

Exemplo:

10 minutos = 2 documentos * 5 minutos (processamento manual) - Validação de 0 minutos

Métricas secundárias

Além do tempo estimado economizado, há outras métricas importantes que valem a pena acompanhar para avaliar o desempenho e o sucesso de um projeto.

Tabela 1. Métricas secundárias

Métrica	Description	Quando rastrear
Número de documentos processados	O número total de documentos processados.	Use essa métrica para: Acompanhe quantos documentos você processou por meio de automação. Acompanhe quantos documentos você processou por meio de automação em comparação com processados manualmente.
Tempo de Validação	O tempo total gasto validando os resultados da classificação e extração.	Use essa métrica para: Acompanhe quanto tempo ainda é necessário por um humano no loop. Verifique se a validação está melhorando com atualizações de modelos e automação.
Tempo médio de processamento	O tempo médio necessário para processar um documento, incluindo o tempo que os usuários gastam com validação, considerando 0 para os documentos que não exigem validação. A fórmula a seguir é usada: {Tempo médio de processamento} = soma de({tempo gasto processando documentos} / {número de documentos processados}) Exemplo: se 10 documentos forem processados e levar 2 minutos por documento, 5 documentos validados por um humano no loop adicione 2 minutos extras: (2*5 + 4*5 = 3 minutos Tempo médio de processamento	Use essa métrica para rastrear quanto tempo os usuários precisam processar um documento agora que você tem a automação em vigor.
Tendência de correções de campo	O número de campos corrigidos, por modificação do campo (valor editado, caixa editada, marcados como ausentes etc.) por mês. Além das correções, a métrica também fornece uma linha de base do número total de campos para que você possa estabelecer quantos dos campos totais foram corrigidos.	Use essa métrica para: Verifique se o número de campos modificados aumenta ao longo do tempo. Verifique se as versões de modelos mais recentes exigem mais entrada humana ou menos. Verifique por que a validação está demorando.

Melhorar métricas do projeto

Confira as seguintes dicas e truques sobre como melhorar as métricas de sucesso do projeto:

• Para melhorar o tempo estimado economizado:
  • Aumente o volume de documentos processados.
  • Melhore o tempo de validação e o processamento direto adicionando regras de negócios em vigor.
• Para melhorar o tempo de validação e o tempo médio de processamento:
  • Defina a lógica em torno da qual decidir se deve ou não enviar documentos para validação a um humano no loop.
  • Ajuste seu modelo e adicione dados de treinamento para campos que não são extraídos com precisão. Aja com base na tendência de correções de campos para descobrir quais campos exigem mais atenção e se concentrar na melhoria da extração lá.
  • Use a funcionalidade Validação generativa.