Evaluar el éxito del proyecto

Puedes realizar un seguimiento de las métricas descritas en esta página para establecer el éxito de tus proyectos.

Métrica principal

La métrica más relevante a seguir es Tiempo ahorrado estimado, expresado en número de horas. Esta métrica puede estar directamente vinculada al ROI, realiza un seguimiento del tiempo ahorrado al tener un proceso de Document Understanding^TM en su lugar, considerando una página de documento de procesos humanos en el tiempo configurado. La métrica utiliza la siguiente fórmula:

{tiempo estimado ahorrado} = {número de documento procesado} * {x} (minutos) - {validation time}

• Número de documentos procesados: el número total de documentos procesados utilizando la automatización.
• x: el tiempo que un usuario necesitaría procesar un documento sin automatización.
• tiempo de validación: el tiempo que el usuario pasó en la Estación de Clasificación o Validación, validando todos los documentos procesados. Esto se considera 0 para los documentos que no requieren validación.

Ejemplo:

10 minutos = 2 documentos * 5 minutos (procesamiento manual): 0 minutos de validación

Métricas secundarias

Además del tiempo ahorrado estimado, hay otras métricas importantes cuyo seguimiento vale la pena para evaluar el rendimiento y el éxito de un proyecto.

Tabla 1. Métricas secundarias

Métrica	Descripción	Cuándo realizar un seguimiento
Número de documentos procesados	El número total de documentos procesados.	Usa esta métrica para: Realizar un seguimiento de cuántos documentos se procesaron a través de la automatización. Realizar un seguimiento de cuántos documentos se procesaron a través de la automatización en comparación con los procesados manualmente.
Tiempo de validación	El tiempo total dedicado a validar los resultados de clasificación y extracción.	Usa esta métrica para: Realizar un seguimiento de cuánto tiempo de humano en el bucle hace aún falta. Comprobar si la validación está mejorando con la automatización y las actualizaciones del modelo.
Tiempo medio de gestión	El tiempo medio necesario para procesar un documento, incluido el tiempo que los usuarios pasan con la validación, considerando 0 para los documentos que no requieren validación. Se utiliza la siguiente fórmula: {tiempo de manejo promedio} = suma de({tiempo dedicado al procesamiento de documentos} / {número de documentos procesados}) Ejemplo: si se procesan 10 documentos y se tardan 2 minutos por documento, 5 documentos validados por un humano en el bucle añaden 2 minutos adicionales: (2*5 + 4*5 = 3 minutos Tiempo medio de gestión	Utiliza esta métrica para realizar un seguimiento de cuánto tiempo necesitan los usuarios para procesar un documento ahora que tienes la automatización implementada.
Tendencia de las correcciones de campo	El número de campos corregidos, por modificación de campo (valor editado, cuadro editado, marcados como faltantes, etc.), por mes. Además de las correcciones, la métrica también proporciona una base de referencia del número total de campos para que puedas establecer cuántos de los campos totales se corrigieron.	Usa esta métrica para: Comprueba si el número de campos modificados aumenta con el tiempo. Comprueba si las versiones del modelo más recientes requieren más entrada humana o menos. Comprueba por qué la validación tarda demasiado tiempo.

Mejora las métricas del proyecto

Consulta los siguientes consejos y trucos sobre cómo puedes mejorar las métricas de éxito de tu proyecto:

• Para mejorar el tiempo estimado ahorrado:
  • Aumenta el volumen de documentos procesados.
  • Mejora el tiempo de validación y el procesamiento directo añadiendo reglas empresariales en su lugar.
• Para mejorar el tiempo de validación y el tiempo medio de gestión:
  • Define la lógica en torno a la que decidir si enviar o no documentos para su validación a un humano en el bucle.
  • Ajusta tu modelo y añade datos de entrenamiento para campos que no se extraen con precisión. Actúa en función de la tendencia de correcciones de campo para averiguar qué campos requieren más atención y centrarse en mejorar la extracción allí.
  • Usa la función de validación generativa.