- Información general
- Creación de modelos
- Validación del modelo
- Implementación del modelo
- API
- Preguntas frecuentes
Guía del usuario de Documentos complejos y no estructurados
Puedes configurar el LLM subyacente, así como sus ajustes en la opción Configuración de modelo en la pestaña Crear.
- Preprocesamiento inteligente:
- Ninguno
- Modelo de tabla: mini
- Modelo de tabla
- Modelo de extracción:
- GPT-4o
- Géminis
- Opciones avanzadas:
- Atribución
- Temperatura
- P principal
- Semilla
- Sanción de frecuencia
- Anulación de solicitud
Ajusta esta configuración para mejorar la precisión de las predicciones del modelo y mejorar su rendimiento.
Las opciones de preprocesamiento inteligentes mejoran el rendimiento de la predicción cuando los documentos son difíciles de interpretar para los modelos, debido a un formato complejo.
- Ninguno: esta opción predeterminada es adecuada para la mayoría de los documentos sin contenido tabular.
- Modelo de tabla: mini: optimizado para contenido tabular y latencia. Esta opción es la más adecuada para documentos con tablas simples o varias tablas.
- Modelo de tabla: optimizado para contenido tabular más complejo. Esta opción es la más adecuada para documentos con tablas anidadas complejas, tablas con celdas fusionadas, viñetas o tablas que se extienden en varias páginas.
Nota:
- Aunque esto funciona mejor en tablas complejas, aumenta la latencia de las predicciones.
- Esta característica se basa en modelos de Gemini a través de AI Trust Layer.
Ejemplo de preprocesamiento inteligente
this period se confunden con los de la columna year to date.this period y year to date, se extraen correctamente.La opción Modelo de extracción representa el LLM subyacente utilizado para la extracción.
- GPT-4o
- Géminis
Elegir el modelo más adecuado
Diferentes modelos se comportarán de forma diferente para diferentes casos de uso, pero se recomienda utilizar Gemini siempre que sea posible. Varias otras funciones de antes y después del procesamiento, que ayudan a optimizar el rendimiento y la experiencia de usuario, también se basan en Gemini.
GPT-4o tiene una restricción de 50 páginas y solo puede procesar más utilizando la función de llamada iterativa de vista previa privada.
Gemini puede procesar documentos en Extracción y Procesamiento Inteligentes (IXP) de hasta 500 páginas en una sola llamada, con recuentos de páginas más altos en vista previa. El límite de Gemini puede variar ligeramente en función de la densidad de valores de campo dentro del documento. El modelo Gemini tiene un límite de entrada de 500 páginas de forma predeterminada, mientras que GPT-4o tiene un límite de entrada de 50 páginas. Además, Gemini tiene una ventana de contexto de salida más alta, que le permite manejar más valores de campo.
Cambiar de un modelo a otro
Para cambiar de un modelo a otro, utiliza la lista desplegable de la opción Modelo de extracción y selecciona Guardar. Esto desencadenará la creación de una nueva versión del proyecto y la generación de nuevas predicciones automáticamente.
Si necesitas cambiar el modelo por razones de rendimiento, comprueba primero si el modelo alternativo puede resolver el problema central que el modelo actual no puede resolver. Si puedes, optimiza el nuevo modelo para mejorar las métricas de rendimiento en Measure.
Límites de procesamiento de documentos
En la práctica, Extracción y Procesamiento Inteligentes (IXP) puede extraer de forma fiable hasta aproximadamente 1200 valores de campo por documento.
Esto significa que si un documento requiere que se extraigan más de 1200 valores de campo, el modelo puede alcanzar su límite de tokens. Esto puede ocurrir incluso si el documento está dentro de los límites de páginas enumerados en esta sección. El trabajo de investigación y desarrollo está en curso para admitir límites de valor de campo más altos en futuras versiones.
Si se superan los límites de tokens, las predicciones pueden estar incompletas o vacías independientemente del número de páginas. Por ejemplo, un documento de 80 páginas con 1400 valores de campo extraídos puede desencadenar una advertencia de límite de tokens en la interfaz de usuario. En tiempo de ejecución, cuando se supera el límite de tokens, la respuesta de la API lo mostrará devolviendo valores de confianza de ocurrencia y extracción de 0.
Si se superan los límites de páginas, solo se procesan las páginas dentro de los límites especificados a continuación. Ambos comportamientos se aplican tanto a Gemini como a GPT-4o.
Los límites de tiempo de ejecución incluyen:
- Número de páginas por documento:
- Para Gemini, hasta 500 páginas.
- Para GPT-4o, 50 páginas y hasta 150 páginas utilizando la característica de vista previa privada de llamadas iterativas.
- Límites de tokens : los documentos con muchos datos con más de 200 extracciones, como las tablas largas, probablemente alcanzarán el límite de tokens. Si GPT4-o alcanza su límite, puedes utilizar la característica de vista previa privada de llamadas iterativas para aumentar la salida del campo. Sin embargo, Gemini tiene un límite de token de salida más alto de forma predeterminada, por lo que ambos modelos pueden devolver cantidades similares de valores de campo: Gemini en una sola llamada y GPT a través de varias llamadas.
Las opciones avanzadas te permiten personalizar la configuración de tus modelos, seleccionar qué método de atribución utilizar y utilizar la anulación de solicitud.
Expande la configuración para ver todas las opciones disponibles:
- Atribución: el método utilizado para atribuir predicciones a la parte o texto relevante en el documento. Selecciona una de las siguientes opciones:
- Basado en reglas: utiliza un extenso conjunto de reglas y heurísticas para hacer coincidir los intervalos correctos en una página con los valores predichos del modelo. Esta es una opción de baja latencia, pero sacrifica el rendimiento en términos de atribuciones correctas en comparación con la opción basada en modelo.
- Basado en modelo: utiliza una llamada de LLM adicional para hacer coincidir correctamente los valores predichos con los intervalos correctos en la página, ya que estos valores a menudo se pueden repetir en diferentes partes de la página. Esta es la opción de mayor rendimiento en términos de atribuciones correctas, pero añade algo de latencia a las predicciones. Esta opción se basa en el uso de modelos de Gemini.
- Temperatura: la temperatura de muestreo que se utilizará. Selecciona un número entre 0,0 y 2,0. Cuanto más altos sean los valores, más aleatorio será el resultado.
- P principal: muestras solo de tokens con la masa de probabilidad
top_p. Selecciona un número entre 0,0 y 1,0. - Semilla: si se especifica, las solicitudes repetidas con la misma semilla y parámetros deben devolver el mismo resultado.
- Sanción de frecuencia: selecciona un número entre -2,0 y 2,0. Los valores positivos reducen la probabilidad de que el modelo repita los tokens que ya han aparecido en el texto.
- Anulación de solicitud: anula la solicitud del sistema predeterminada con un nuevo valor. Esta opción está deshabilitada de forma predeterminada. Una vez habilitadas, las opciones Anexar solicitud de instrucciones de tarea y Anexar solicitud de instrucciones de campo están habilitadas para la configuración.
