Validar predicciones de extracción

Actualmente, el modelo no aprende directamente de las anotaciones del usuario. Para mejorar el rendimiento del modelo, modifica tus instrucciones de solicitud o la configuración del modelo.

Si las instrucciones de solicitud te parecen bien, puedes empezar a validar las predicciones del modelo para establecer los datos reales para su evaluación del rendimiento. Antes de hacerlo, es importante comprender las diferencias entre las predicciones y las referencias.

Predicciones y referencias

Las predicciones son los valores predichos y se comparan con el valor de referencia.

Nota:

Las predicciones incorrectas o faltantes afectan a la puntuación del modelo y a las métricas de rendimiento en la pestaña Medir.

Las referencias son las referencias coincidentes con los valores previstos encontrados en el documento. El propósito de las referencias es ayudar a los usuarios a encontrar la parte correcta del documento.

Nota:

Las referencias incorrectas o faltantes no afectan a la puntuación del modelo ni a las métricas de rendimiento. Sin embargo, puede ser útil añadir o corregir referencias para mejorar la experiencia de validación humana.

Existen limitaciones conocidas con referencias y segmentos resaltados, que son una de nuestras prioridades clave para mejorar.

Puedes encontrarte con uno de los siguientes escenarios:

• Corrige la predicción y la referencia correctas, pero se resalta un rango incorrecto. Por lo general, la primera coincidencia que se encontró.

• Predicción correcta, pero falta una referencia y un segmento resaltado. En estos escenarios, proporcionamos un número de página como respaldo.

  

Nota:

Las predicciones y las referencias son independientes. Esto significa que las referencias faltantes o incorrectas no afectan a los valores previstos.

Validar extracciones

Las extracciones se resaltan de la siguiente manera cuando se predicen:

• Subrayado: valores previstos.

  

• Rellenado: valores confirmados.

  

• Borde discontinuo: valores no confirmados.

  

Para validar las extracciones, sigue estos pasos:

1. Go to the Build tab, and select Validate predictions or any uploaded document to begin the validation process. The model highlights the relevant span of text in the document and displays the generated predictions in the side panel. Values that are applicable to multiple extractions, such as account number, have arrow buttons to help navigate to relevant sections. The buttons appear when you point to the values.

La siguiente imagen representa cómo se ven las extracciones en su estado predicho. Los valores previstos siempre están subrayados.

2. Revisa las predicciones y confirma las extracciones una por una o en masa confirmando todo el grupo de campos. No se recomienda seleccionar los botones Confirmar todo y Siguiente sin revisar cuidadosamente cada extracción.La siguiente imagen muestra:

• en la primera fila de la tabla, cómo son las extracciones en su estado sin confirmar, es decir, valores que se confirmaron anteriormente, pero ahora no lo están. Los valores no confirmados tienen un borde discontinuo.
• en la segunda y tercera filas de la tabla, cómo son las extracciones en su estado de confirmación, es decir, los valores que confirmaste o corregiste. Los valores confirmados siempre se rellenan.

Nota:

Cualquier cambio que realices pero no envíes se guarda como un borrador, al que puedes volver y actualizar más tarde. Para obtener más información, consulta Borrador de anotaciones.

3. Puedes configurar campos adicionales en tu esquema de extracción en cualquier momento en Administrar taxonomía o en la pestaña Crear.

Ejemplo de validación de extracciones de Action Center

Detener la validación de extracción

Se recomienda validar al menos 10 ejemplos para cada campo, para que el modelo pueda proporcionar estadísticas de validación significativas.

Referencias y extracciones confirmadas y sin confirmar.

El proceso de validación implica lo siguiente:

• Confirmar las extracciones si son correctas.
• Corregir las extracciones si son incorrectas.
• Marcar los campos como inexistentes si no están presentes en el documento.
• Configurar cualquier campo adicional en tu esquema de extracción.

Esta sección muestra cómo se ven las extracciones y referencias en su estado confirmado (validado) y no confirmado (no validado).

Nota:

Cualquier cambio que realices pero no envíes se guarda como un borrador, al que puedes volver y actualizar más tarde. Para obtener más información, consulta Borrador de anotaciones.

Valores previstos

Valores no confirmados

Las referencias en el documento se resaltan con un borde discontinuo:

Figura 1. Referencia no confirmada

No se marcan extracciones como confirmadas:

Figura 2. Extracciones no confirmadas

Confirmado

Las referencias se resaltan con un borde sólido:

Figura 3. Referencia confirmada

Las extracciones se marcan como confirmadas:

Figura 4. Extracciones confirmadas

Extracciones validadas

Esta sección contiene escenarios de ejemplo de cuándo las predicciones del modelo coinciden o no con las anotaciones del usuario.

Cuando la anotación coincide con la predicción, la extracción tiene el siguiente aspecto:

Figura 5. Predicción correcta

Cuando la anotación no coincide con la predicción, la extracción se ve de la siguiente manera:

Figura 6. Predicción incorrecta

Cuando hay una anotación pero no hay predicción, las extracciones tienen el siguiente aspecto:

Figura 7. Predicción faltante

Nota:

Las predicciones se comparan con las anotaciones, no con las referencias. Es posible que falten referencias o que sean incorrectas, pero esto no se marcará como una falta de coincidencia.

Corrección de extracciones

Para corregir una extracción, procede de la siguiente manera:

1. Point to the extraction, and select the pencil icon to edit the predicted value.

2. Introduce el valor correcto.

3. Selecciona el icono más + para actualizar el valor predicho o la referencia.

4. Resalta el valor correcto en el documento.

   Nota:

   Cualquier cambio que realices pero no envíes se guarda como un borrador, al que puedes volver y actualizar más tarde. Para obtener más información, consulta Borrador de anotaciones.

   

Editar extracciones

En la página Validar predicciones, en la pestaña Crear, edita las extracciones de la siguiente manera:

1. Selecciona el icono más para añadir una extracción que falta.

2. Selecciona el icono de tabla para abrir la vista de tabla.

3. Confirma las extracciones en el panel lateral o en la vista de tabla.

4. Point to the extraction, and use the pencil and plus icons to correct the extractions individually:

   • El icono del lápiz te permite editar el valor predicho e introducir el tipo correcto.
   • El icono más te permite actualizar el valor previsto o la referencia y resaltar el valor correcto en el documento.

5. Selecciona Añadir grupo de campos para añadir uno que falta.

   Nota:

   Cualquier cambio que realices pero no envíes se guarda como un borrador, al que puedes volver y actualizar más tarde. Para obtener más información, consulta Borrador de anotaciones.

   

   

Anotaciones de borrador

Cualquier edición que realices en los valores y referencias en un documento se almacena como anotaciones de borrador hasta que las envíes al modelo como anotaciones. Como resultado, los estados de documento aparecen como En progreso.

Todas las acciones mencionadas anteriormente, como validar, corregir y editar extracciones y luego enviar las anotaciones, se mantienen en borrador a medida que se realizan cambios.

Si solicitas nuevas predicciones mientras un documento está en estado de borrador, el sistema conserva las anotaciones de borrador mientras vuelve a rellenar nuevas predicciones y hace coincidir el nuevo conjunto de predicciones del modelo con las anotaciones de borrador.