Uso de campos generales

Una guía para configurar y entrenar campos generales en la plataforma.

Definir y configurar tus campos

Es importante definir los puntos de datos clave (es decir, campos) que desea extraer de sus datos de Communications Mining. Estos suelen facilitar la automatización posterior, pero también pueden ser útiles para el análisis, en particular para evaluar la tasa de éxito potencial y el beneficio de las oportunidades de automatización.

Las siguientes definiciones te ayudan a entender la diferencia entre campos generales y de extracción:

• Los campos generales son campos que es posible que desees extraer, que se pueden encontrar en varios temas/etiquetas diferentes en un conjunto de datos.
• Los campos de extracción son los campos condicionados y creados en una etiqueta específica. En otras palabras, está vinculado a una etiqueta específica que quieres automatizar.

Nota: si la extracción generativa está disponible en tu región, se recomienda utilizar los campos generales como copia de seguridad de los campos de extracción, en caso de que no haya predicciones de etiquetas seguras para un mensaje. Utiliza campos de extracción, vinculados a etiquetas específicas, para facilitar la automatización de extremo a extremo, y campos generales para la clasificación automatizada.

Consulta la documentación oficial para obtener más información sobre los campos Extracción generativa y General frente a extracción. Si la Extracción generativa no está disponible en tu región, sigue utilizando los campos generales como de costumbre. El resto de esta sección proporciona orientación sobre cómo utilizar los campos generales.

En última instancia, las predicciones generales de campo, combinadas con las etiquetas, pueden facilitar la automatización al proporcionar los puntos de datos estructurados necesarios para completar una tarea o proceso específico. Es mucho más eficiente entrenar campos generales en tu conjunto de datos junto con etiquetas, en lugar de centrarse en uno y luego en el otro (es decir, entrenar campos generales después de entrenar una taxonomía completa de etiquetas).

Nota: si quieres automatizar las solicitudes de cambio de dirección , se utilizaría una etiqueta para capturar el tipo de solicitud, mientras que los campos generales capturarían los diversos componentes de la dirección (es decir, línea de dirección, ciudad, código postal, etc.). Cada predicción está disponible a través de la API, lo que permite actuar sobre cada mensaje.

Comprender los campos generales

Nota: si la extracción generativa está disponible en tu región, se recomienda utilizar los campos generales como copia de seguridad de los campos de extracción, en caso de que no haya predicciones de etiquetas seguras para un mensaje. Utiliza campos de extracción, vinculados a etiquetas específicas, para facilitar la automatización de extremo a extremo, y campos generales para la clasificación automatizada.

Consulta la documentación oficial para obtener más información sobre los campos Extracción generativa y General frente a extracción. Si la Extracción generativa no está disponible en tu región, sigue utilizando los campos generales como de costumbre. El resto de esta sección proporciona orientación sobre cómo utilizar los campos generales.

¿Qué son los campos generales?

Los campos generales son elementos adicionales de datos estructurados que se pueden extraer de los mensajes de tu conjunto de datos. Los campos generales incluyen puntos de datos como cantidades monetarias, fechas, códigos de moneda, direcciones de correo electrónico, URL, así como muchas otras categorías específicas de la industria (consulta un ejemplo a continuación).

Ejemplo de mensaje de correo electrónico con campos generales de línea de dirección, nombre de ciudad y número de póliza predichos

La plataforma es capaz de predecir la mayoría de los campos generales (excepto los entrenados desde cero) tan pronto como se habilitan, ya que puede identificarlos en función de su formato típico, o en algunos casos muy específico, y un conjunto de entrenamiento de campos generales similares.

Al igual que las etiquetas, los usuarios pueden aceptar o rechazar campos generales que se predicen correcta o incorrectamente, lo que mejora la capacidad del modelo para identificarlos en el futuro.

Tipos de campos generales

Actualmente hay dos tipos principales de campos generales:

• Campos generales preentrenados que normalmente se basan en un conjunto de reglas estándar o personalizadas, por ejemplo Cantidad monetaria, URL y fecha
• Campos generales entrenados desde cero por un usuario (como si entrenaran etiquetas) que están basados en el aprendizaje automático

Campos generales entrenables frente a no entrenables

Todos los campos generales son entrenables por naturaleza (campos generales entrenados desde cero), o pueden hacerse entrenables cuando están habilitados (todos los demás tipos de campos generales).

Los campos generales entrenables son aquellos que se actualizarán en vivo en la plataforma en función del entrenamiento proporcionado por los usuarios. Para obtener más información sobre el entrenamiento de campos generales, consulta aquí.

Si habilitas el entrenamiento en un campo general preentrenado que normalmente se basa en un conjunto de reglas estándar o personalizadas, puedes refinar la comprensión de la plataforma de ese campo general dentro de los parámetros de esas reglas. Esencialmente, una mayor formación en estos reducirá el alcance de lo que la plataforma puede considerar ese campo general, pero no lo aumentará.

Esto se debe a que muchos de estos campos generales, como las fechas (por ejemplo, 'mañana') y cantidades monetarias (p. ej. 20 £), deben normalizarse en un formato de datos estructurados para los sistemas posteriores. También para campos generales como ISIN o CUSIP, estos deben tener un formato establecido, por lo que no se debe enseñar a la plataforma a predecir nada que no se ajuste a sus formatos definidos.

Cuando se asigna cualquier campo general entrenable, la plataforma mira tanto el texto del campo general como el contexto del campo general dentro del resto de la comunicación, es decir, lo que sucede antes y después del valor del campo general (en el mismo párrafo, y el anterior y el siguiente). Aprende a predecir mejor el campo general en función de los propios valores, así como de cómo aparece el valor en el contexto de la comunicación.

Si un campo general preentrenado no se establece como entrenable, puedes aceptar o rechazar las predicciones de campo general que ves en tu conjunto de datos. Estos se actualizan y refinan sin conexión utilizando estos comentarios en la plataforma proporcionados por los usuarios. Es útil aceptar o rechazar estos campos generales al revisar los mensajes. Para obtener más información sobre cómo habilitar campos generales en un conjunto de datos, consulta la página Habilitar, deshabilitar, actualizar y crear campos generales .

¿Qué plantillas prediseñadas están disponibles para los campos generales?

Nota: puedes habilitar todos los campos generales como entrenables, para refinar la comprensión de la plataforma de ellos a través del entrenamiento, y reducir el alcance de lo que la plataforma considera un campo general de ese tipo.

Tipos de campo de plantilla estándar para campos generales

Al configurar los tipos de campo generales, puedes seleccionar una de las siguientes opciones predefinidas, a través de la opción de plantilla al seleccionar el tipo de datos para el tipo de campo.

Tipo de campo general	Descripción
Correo electrónico	Una dirección de correo electrónico.
Moneda	Un código de moneda, por ejemplo GBP, CHF o USD.
URL	Un localizador de recursos uniforme (es decir, dirección web).
SEDOL	Un identificador de seguridad financiera, abreviatura de Lista oficial diaria de la bolsa de valores, que tiene 7 caracteres de longitud.
Código BIC	Un código de identificación empresarial (BIC) es un estándar internacional bajo la norma ISO 9362 para enrutar transacciones comerciales e identificar partes comerciales. El código BIC tiene una longitud de 8 u 11 caracteres.
LEI	Un identificador de campo general legal (LEI) es un identificador global único de campos generales legales que participan en transacciones financieras. El LEI tiene el formato de un código alfanumérico de 20 caracteres.
es en	Un número internacional de identificación de valores (ISIN) identifica de forma única un valor financiero. ISIN es un código alfanumérico de 12 caracteres.
Mark-to-market (MTM o M2M)	Mark-to-market se refiere al valor razonable de un activo o pasivo. Mark-to-market se basa en el precio de mercado actual, el precio de activos y pasivos similares, o en otro valor razonable obsesionado objetivamente.
CUSIP	Un CUSIP es un número de 9 dígitos o un código alfanumérico de 9 caracteres que identifica un valor financiero norteamericano con el fin de facilitar la compensación y liquidación de operaciones.

Habilitar, deshabilitar, actualizar y crear campos generales

Se requieren permisos de usuario: 'Ver fuentes' Y 'Modificar conjuntos de datos' O 'Administrador de conjuntos de datos'.

Nota: tienes una cuota predeterminada de 25 campos generales por conjunto de datos. Si necesitas más de 25 campos generales, solicita un aumento de la cuota a través del equipo de la cuenta.

Habilitar campos generales en un nuevo conjunto de datos

Para habilitar los campos generales en un nuevo conjunto de datos que quieras crear, solo tienes que seleccionarlos durante el proceso de configuración.

Haz clic en el botón + en el cuadro que se muestra a continuación y se te presentará un menú desplegable de todos los campos generales que puedes habilitar para ese conjunto de datos. Simplemente haz clic en todos los campos generales que quieras habilitar antes de crear el conjunto de datos. Si añades alguno por error, puedes hacer clic en el icono 'X' junto al nombre del campo general para eliminarlo.

Para obtener más información sobre cómo crear un nuevo conjunto de datos, consulta aquí.

Crear nuevo conjunto de datos modal

Habilitar, actualizar y deshabilitar campos generales en un conjunto de datos existente

Si quieres habilitar, actualizar o deshabilitar los campos generales para un conjunto de datos existente, puedes hacerlo desde la pestaña de configuración en la barra de navegación superior, y luego seleccionando la pestaña Etiquetas y campos de extracción.

Configuración > pestaña Etiquetas y campos de extracción

Habilitar campos generales:

Para habilitar los campos generales existentes, haz clic en el cuadro Campos generales y selecciona los campos generales que deseas habilitar en el menú desplegable. Una vez que estés satisfecho con tus selecciones, selecciona Actualizar campos generales (como se muestra a continuación).

Estos campos generales tendrán su configuración preseleccionada. A continuación, puedes actualizarlos, incluso hacerlos entrenables, como se muestra a continuación.

Pestaña de campos generales

Actualizar campos generales:

Para actualizar un campo general habilitado, haz clic en el campo general en el cuadro de campo general como se muestra en las imágenes anteriores y aparecerá el modal 'Editar campo general' (a continuación).

Aquí puedes actualizar el campo general base, el título del campo general y el nombre de la API (estos conceptos se describen en detalle a continuación), así como hacer que el campo general sea "entrenable".

Si has revisado previamente los campos generales para un tipo de campo general que no estaba configurado como 'entrenable', esta información aún se almacena.

Editar modal de campo general

Deshabilitar campos generales:

Para eliminar cualquier campo general seleccionado, simplemente haz clic en el icono 'X' junto al nombre del campo general y luego haz clic en Actualizar campos generales.

Nota:

Si eliminas un campo general y haces clic en Actualizar campos generales, también se eliminarán los datos de entrenamiento de ese campo general para este conjunto de datos. Si eliges volver a habilitar el campo general, deberás entrenarlo de nuevo.

Si cometes un error al actualizar los campos generales, haz clic en "Restablecer" antes de hacer clic en Actualizar campos generales y tus cambios no se aplicarán.

Crear nuevos campos generales

Las secciones anteriores cubrieron cómo habilitar y actualizar los campos generales preentrenados existentes para conjuntos de datos nuevos y existentes. En cada instancia, ya sea para un conjunto de datos nuevo o existente, también puedes crear nuevos campos generales.

Los campos generales recién creados pueden basarse en un campo general preentrenado existente o pueden entrenarse desde cero (como una nueva etiqueta).

Puedes hacerlo haciendo clic en el icono "+" en el cuadro de campo general, ya sea en el flujo "Crear conjunto de datos" o en la página de configuración del conjunto de datos (como se muestra arriba).

Esto abrirá el modal 'Añadir un nuevo campo general' como se muestra a continuación.

Aquí puedes establecer los tipos de campo, el título y el nombre de la API, así como seleccionar si el campo general es entrenable o no (estos pueden actualizarse más tarde como se muestra arriba).

Cuando hayas rellenado cada uno de los campos (se explica a continuación), haz clic en "Crear ".

Crear nuevo modal de campo general

Field types

• Esto servirá como estado inicial para tu nuevo campo general, y el menú desplegable contendrá una lista de todos los campos generales preentrenados disponibles para ti
  • Por ejemplo, si seleccionas "Fecha" como tu campo general base, todos los campos generales previstos para este tipo serán fechas, y entonces podrías entrenar la plataforma para que solo reconozca fechas específicas

• Si quieres entrenar un campo general completamente desde cero, puedes seleccionar "Ninguno - Entrenar desde cero " y, a continuación, empezar con un lienzo en blanco al entrenar el campo general. Las predicciones de la plataforma para este campo general se basarán completamente en los ejemplos de entrenamiento que proporciones

Título del campo general

• El título del campo general es el nombre del campo general que aparecerá en la IU de la plataforma

NombreDeAPI

• El nombre de la API del campo general es lo que se devolverá a través de la API cuando proporcione predicciones para los mensajes
• El nombre de la API no puede contener espacios ni signos de puntuación, excepto guiones (-) y guiones bajos (_).

Filtrado general de campos

Permisos de usuario necesarios: Ver orígenes Y Ver campos generales.

Al igual que con las etiquetas, puedes filtrar los mensajes por si tienen campos generales previstos o asignados, tanto en Explorar como en Informes.

Puedes aplicar cualquier combinación de AND, ANY OF y NOT al aplicar más de un filtro de campo general. Estos filtros pueden darte una flexibilidad mucho mayor a la hora de entrenar e interpretar tus datos, y pueden proporcionar información mucho más profunda sobre lo que sucede en tus canales de comunicación.

Estas son algunas de las cosas que puedes hacer al filtrar por predicciones generales de campo:

• Aplicar varios filtros de campo generales a la vez, tanto en Explorar como en Informes
• Filtrar a los mensajes que tienen uno del número de campos generales seleccionados previstos (es decir, CUALQUIERA DEL campo general X Y el campo general Y Y ...)
• Filtrar a los mensajes que tienen varios campos generales diferentes previstos (es decir, campo general X Y campo general Y Y ...)
• Filtrar a los mensajes que no tienen determinados campos generales previstos (es decir, campo NO general Y)
• Buscar campos generales que contengan términos de búsqueda específicos, mientras se aplican filtros de campo generales

Todos los campos generales que hayas habilitado en tu conjunto de datos aparecerán como se muestra a continuación en la barra de filtro. La asignación de campos generales se trata en detalle en Revisar y aplicar campos generales.

Aplicar filtros de predicción avanzados

Ahora hay dos formas de aplicar filtros de campo generales, y puedes usarlos en combinación para crear el tipo de consulta correcto.

Así es como se ve la barra de filtro de campo general:

El estado predeterminado se muestra arriba, por lo que no se aplica ningún filtro y se mostrarán todos los mensajes (a menos que se aplique otro filtro).

Para actualizar el filtro de campo general, utiliza los botones que se explican a continuación. Cambian de color cuando se seleccionan:

	Muestra los mensajes que contienen cualquier campo general anotado.
	Mostrar mensajes que se prevé que contengan un campo general

Si quieres filtrar los mensajes que tienen campos generales anotados o que se prevé que contengan un campo general, utiliza los botones de la parte superior (como se muestra arriba). Si quieres filtrar mensajes con campos generales específicos anotados o previstos, pasa el ratón por encima del campo general en cuestión y aparecerán los mismos dos botones a la derecha.

Si quieres filtrar a un campo general asignado o previsto, selecciona el nombre del campo general y mostrará los mensajes con cualquiera de ellos.

Para eliminar tu selección, selecciona el botón de nuevo, y para eliminar varias selecciones, selecciona Todo. También puedes seleccionar Borrar todo en la parte superior de la barra de filtros, pero esto borrará todos los filtros que hayas seleccionado, no solo los filtros de campo generales.

Barra de campo general

La taxonomía de los campos generales funciona como una barra de filtro normal y te permite seleccionar varios campos generales a la vez con un solo clic para cada uno.

La selección de varios campos generales de la lista crea una consulta de tipo ANY OF.

Si seleccionaste Campo general A, Campo general B y Campo general C en la barra de campo General, esto crea una consulta predicha Mostrarme mensajes con Campo general A, Campo general B o Campo general C.

Al filtrar por campos generales específicos, puedes realizar varias selecciones. Por ejemplo, podrías filtrar para ver los mensajes que tienen un campo general de línea de dirección asignado O un campo general de ciudad predicho (como se muestra a continuación).

Barra de filtro de campo general con campos generales seleccionados de ID de factura prevista o ID de producto asignado

Añadir filtro de campo general

La segunda opción de filtro es el botón + Añadir filtro de campo general situado encima de la barra de campo general.

Esto habilita una barra de campo general desplegable que te permite seleccionar filtros más complejos, como excluir ciertos campos generales de la consideración.

Desde este menú desplegable, puedes seleccionar varios campos generales para incluir o excluir haciendo clic en el nombre del campo general (para asignado y previsto), o en los botones individuales (incluido el signo menos para cuando este campo general no esté asignado ni previsto).

El resultado es similar al de este ejemplo, que devuelve los mensajes previstos para tener el campo general ID de factura, pero no el campo general ID de producto asignado o previsto:

Puedes seleccionar + Añadir filtro de campo general varias veces para añadir capas adicionales a tu consulta. Dos filtros de campo generales independientes crean una consulta de tipo AND, mientras que varios campos generales seleccionados en el mismo filtro de campo general crean una consulta de tipo ANY OF.

En el siguiente ejemplo, se han aplicado varios filtros de campo generales de forma individual. Esto crea un filtro que devolverá los mensajes que se prevé que tengan cualquiera de los tres campos generales del primer filtro, pero que también tengan el campo general Número de póliza previsto, y no tengan el campo general Código postal del Reino Unido previsto o asignado.

Un ejemplo de consulta de campo general compleja que combina filtros de campo generales ANY OF, AND y NOT

Un consejo útil es que, al seleccionar el signo & en un filtro individual que contenga varios campos generales, puedes dividirlos automáticamente en filtros individuales. Esto cambiaría la consulta de ANY OF (es decir, cualquiera de estos campos generales previstos) a AND (es decir, todos estos campos generales previstos).

Combinar filtros de barra de campo generales y filtros de campo generales añadidos

Es posible combinar filtros tanto de la barra de campo general como de filtros de campo generales añadidos individualmente. Los filtros aplicados en la barra de campo general se tratan como una consulta AND con cualquier filtro de campo general aplicado individualmente.

Por ejemplo, en la siguiente imagen, esta consulta combinada devolvería cualquier mensaje que tuviera previsto un ID DE PEDIDO o un ID DE PROD.

Combine el filtro de campo general utilizando la barra de campo general y los filtros de campo generales añadidos individualmente.

Combinar filtros de campo generales y ordenar por campo general para el entrenamiento

Lo que también significan estos nuevos filtros es que ahora puedes aplicar filtros de campo generales y ordenar por un campo general específico para un modo de entrenamiento.

Ejemplo de la página Explorar que muestra el modo Comprobar campo general para un campo general específico, con un filtro de exclusión de campo general adicional aplicado:

Revisar y aplicar campos generales

Permisos de usuario necesarios: 'Ver fuentes' Y 'Revisar y etiquetar'.

Identificar predicciones de campo generales

Los campos generales previstos aparecen como texto resaltado en color, como en la primera línea del siguiente mensaje, con un color diferente para cada tipo de campo general diferente. Una vez que un campo general ha sido confirmado por un usuario, ya sea aplicándolo manualmente o aceptando una predicción, el campo general aparecerá como texto resaltado con un contorno más oscuro y en negrita como se muestra a continuación.

Si un párrafo tiene campos generales asignados, descartados o aplicados, aparecerá resaltado en gris, como se muestra en el cuerpo del mensaje a continuación.

Ejemplo de formato de campo general

¿Cómo hace la plataforma predicciones generales de campo para campos generales entrenables?

Al revisar los campos generales entrenables, es importante recordar que la plataforma aprenderá tanto de los valores de campo generales que asigne, como del contexto en el que aparecen dentro de las comunicaciones, es decir, el otro lenguaje que se utiliza en torno a los valores en sí.

La plataforma tendrá en cuenta el contexto del idioma en el mismo párrafo que el valor del campo general, así como los párrafos individuales (indicados por una nueva línea separada) directamente antes y después del párrafo en el que se encuentra el campo general.

Nota: para los campos generales que no están configurados como "entrenables", las predicciones de la plataforma se basan completamente en las reglas definidas dentro de la plataforma para ese campo general. Esto puede ser beneficioso cuando un campo general tiene que seguir un formato establecido para una automatización posterior, con cualquier valor incorrecto que provoque un fallo o una excepción.

Puntuaciones generales de confianza de campo

Cuando la plataforma predice qué campos generales se aplican a una comunicación, asigna a cada predicción una puntuación de confianza (%) para mostrar la confianza de que el campo general se aplica al fragmento de texto resaltado. Puedes ver la puntuación de confianza de un campo general pasando el ratón por encima del campo general.

Esta puntuación de confianza también está disponible a través de la API para que pueda informar las acciones automatizadas realizadas posteriormente.

Ejemplo de puntuación de confianza de un campo General

Aceptar y rechazar predicciones generales de campo

Una vez habilitados los campos generales (consulta aquí), la plataforma comenzará a predecirlos automáticamente en los mensajes de tu conjunto de datos. Los usuarios pueden aceptar las predicciones que sean correctas o rechazarlas cuando sean incorrectas. Cada una de estas acciones envía señales de entrenamiento que se utilizarán para mejorar la comprensión de la plataforma de ese campo general.

Para los campos generales preentrenados que se entrenan sin conexión (p. ej. Cantidad monetaria, URL, etc.), es más importante desde una perspectiva de mejora para los usuarios rechazar o corregir predicciones erróneas que aceptar predicciones correctas.

Para los campos generales que se entrenan en directo en la plataforma, es igualmente importante aceptar las predicciones correctas y rechazar las predicciones incorrectas. Sin embargo, no es necesario seguir aceptando muchos ejemplos correctos de cada campo general único para estos tipos (p. ej. Ejemplo Bank Ltd. es un campo general de organización único) si no encuentra los predichos incorrectamente.

La advertencia clave es que si revisas cualquier campo general en un párrafo, debes revisar todos los demás campos generales de ese párrafo.

Para revisar una predicción de campo general, pasa el ratón por encima de la predicción y aparecerá el modal de revisión de campo general, como se muestra en el siguiente ejemplo. Para aceptarla, haz clic en "Confirmar", para rechazarla, haz clic en "Descartar".

Los campos generales y las etiquetas se pueden entrenar de forma independiente. Revisar las etiquetas de un mensaje no significa que tengas que revisar los campos generales de ese mismo mensaje. Sin embargo, es una buena práctica hacer ambas cosas al mismo tiempo, ya que es el uso más eficiente de tu tiempo mientras entrenas el modelo.

Nota: es muy importante seguir las mejores prácticas que se explican a continuación al entrenar campos generales, especialmente en lo que respecta a no anotar parcialmente los párrafos.

Para entender lo bien que la plataforma es capaz de predecir cada campo general habilitado para un conjunto de datos (en particular los entrenables), consulta aquí.

Mensaje de ejemplo con campos generales asignados y previstos

Nota:

Es importante que rechaces las predicciones de campos generales incorrectas, pero si el texto resaltado fuera de hecho un campo general diferente (esto sería más común para los campos generales relacionados con fechas) que apliques el correcto después (consulta a continuación cómo aplicar campos).

Aplicar campos generales

Para aplicar un campo general a un texto en el que la plataforma puede no haberlo previsto, los usuarios solo tienen que resaltar la sección de prueba como lo harían si fueran a copiarla.

Aparecerá un menú desplegable, como se muestra a continuación, que contiene todos los campos generales que has habilitado para tu conjunto de datos. Simplemente haz clic en el correcto para aplicarlo, o pulsa el atajo de teclado correspondiente.

El atajo de teclado predeterminado para cada campo general es la letra con la que comienza. Si más de un campo general comienza con la misma letra, uno se asignará aleatoriamente al otro.

Un mensaje de ejemplo que muestra el modo de aplicación de campo general

Una vez aplicado un campo general, se resaltará en color con un contorno en negrita (ver más abajo). Cada tipo de campo general tendrá su propio color específico.

Un mensaje de ejemplo que muestra un campo general 'Número de póliza' aplicado

Nota:

Un valor para un tipo de campo general determinado no se puede dividir en varios párrafos. El valor completo debe estar contenido en un párrafo para que se extraiga como un valor de campo general.

Best Practice

Hay dos prácticas recomendadas muy importantes que hay que recordar al aceptar, rechazar o aplicar campos generales en los mensajes:

1. No dividir palabras

Es importante no dividir las palabras: el campo general resaltado debe cubrir toda la palabra (o varias) en cuestión, no solo una parte de ella (ver el ejemplo incorrecto a la izquierda a continuación, y la aplicación correcta a la derecha)

Ejemplo incorrecto de la aplicación del campo general 'Línea de dirección'

Ejemplo correcto de la aplicación del campo general 'Línea de dirección'

2. No anotes parcialmente los párrafos

Al anotar, si un usuario asigna una etiqueta a un mensaje, debe aplicar TODAS las etiquetas que podrían aplicarse a ese mensaje; de lo contrario, le enseñas al modelo que esas otras etiquetas no deben aplicarse. Lo mismo ocurre con los campos generales, excepto que los campos generales se revisan o aplican a nivel de párrafo, en lugar de a todo el mensaje.

Los párrafos de un mensaje están separados por nuevas líneas. La línea de asunto de un mensaje de correo electrónico se considera un único párrafo.

Asegúrate de revisar o aplicar todos los campos generales dentro de un párrafo en todos los tipos de campos generales si revisas o aplicas uno de ellos. Aplicar, aceptar o rechazar campos generales en un párrafo significa que la plataforma trata el párrafo como "revisado" desde una perspectiva de campo general. Por lo tanto, es importante aceptar o rechazar TODAS las predicciones de ese párrafo.

El siguiente ejemplo muestra los diferentes párrafos que se han revisado dentro del mensaje de correo electrónico.

Ejemplo de mensaje de correo electrónico que muestra campos generales revisados correctamente en varios párrafos

El mensaje que se muestra a continuación muestra el mismo ejemplo en el que el usuario no ha aceptado o rechazado todas las predicciones de campo generales en un solo párrafo. Esto es incorrecto, ya que el modelo tratará erróneamente el campo general de cantidad monetaria como una predicción incorrecta.

Ejemplo de mensaje de correo electrónico que no se ha revisado correctamente

Validación para campos generales

Introducción

La plataforma muestra estadísticas de validación, advertencias y acciones recomendadas para los campos generales habilitados en la página Validación, al igual que para cada etiqueta de tu taxonomía.

Para verlos, ve a la página Validación y selecciona la pestaña Campos generales en la parte superior, como se muestra en la siguiente imagen.

Cómo acceder a la página de validación de campos generales

¿Cómo funciona la validación general de campos?

El proceso en el que la plataforma valida su capacidad para predecir correctamente los campos generales es muy similar al de las etiquetas.

Los mensajes se dividen (80:20) en un conjunto de entrenamiento y un conjunto de prueba (determinado aleatoriamente por el ID de mensaje de cada mensaje) cuando se añaden por primera vez al conjunto de datos. Cualquier campo general que se haya asignado (predicciones que se aceptaron o corrigieron) caerá en el conjunto de entrenamiento o el conjunto de prueba, en función del conjunto al que se asignó originalmente el mensaje en el que se encuentran.

Como a veces puede haber un gran número de campos generales en un mensaje y no se garantiza si un mensaje está en el conjunto de entrenamiento o en el conjunto de prueba, puedes ver una gran disparidad entre el número de campos generales en cada conjunto.

También puede haber casos en los que todos los campos generales asignados caigan en el conjunto de entrenamiento. Como se requiere al menos un ejemplo en el conjunto de pruebas para calcular las puntuaciones de validación, este campo general requeriría más ejemplos asignados hasta que algunos estuvieran presentes en el conjunto de pruebas.

¿Cómo se calculan las puntuaciones?

Las estadísticas individuales de precisión y recuperación para cada campo general con suficientes datos de entrenamiento se calculan de forma muy similar a la de las etiquetas:

Precisión = N.º de campos generales coincidentes / N.º de campos generales previstos

Recuperación = N.º de campos generales coincidentes / N.º de campos generales reales

Un "campo general coincidente" es cuando la plataforma ha predicho el campo general exactamente (es decir, sin coincidencias parciales)

La puntuación F1 es simplemente la media armónica tanto de la precisión como de la recuperación.

Campos generales entrenables

Vale la pena señalar que las estadísticas de precisión y recuperación que se muestran en esta página son más útiles para los campos generales que se pueden entrenar en vivo en la plataforma (que se muestran en la segunda columna anterior), ya que todos los campos generales revisados para estos tipos de campos generales se afectar a la capacidad de la plataforma para predecir esos campos generales.

Por lo tanto, la aceptación de los campos generales correctos y la corrección o el rechazo de los campos generales erróneos debe hacerse siempre que sea posible.

Campos generales preentrenados

Para los campos generales que se entrenan previamente a través de tipos de campo de plantilla, para que las estadísticas de validación proporcionen un reflejo preciso del rendimiento, los usuarios deberían asegurarse de que aceptan una cantidad considerable de predicciones correctas, así como de corregir las incorrectas.

Si solo corrigieran las predicciones erróneas, los conjuntos de entrenamiento y prueba se llenarían artificialmente solo de las instancias en las que la plataforma ha tenido problemas para predecir un campo general, y no de aquellas en las que es más capaz de predecirlas. Como la corrección de predicciones erróneas para estos campos generales no conduce a una actualización en tiempo real de estos campos generales (se actualizan periódicamente sin conexión), las estadísticas de validación pueden no cambiar durante un tiempo y podrían ser artificialmente bajas.

Aceptar muchas de las predicciones correctas puede no ser siempre conveniente, ya que estos campos generales se predicen correctamente la mayoría de las veces. Pero si la mayoría de las predicciones son correctas para estos campos generales, es probable que no tengas que preocuparte por su precisión y las estadísticas de recuperación en la página Validación.

¿Qué significan las estadísticas de resumen?

Las estadísticas de resumen (precisión media, recuperación media y puntuación F1 media) son simplemente medias de cada una de las puntuaciones de campo generales individuales.

Al igual que con las etiquetas, solo los campos generales que tienen suficientes datos de entrenamiento se incluyen en las puntuaciones medias. Aquellos que no tienen suficientes datos de entrenamiento para ser incluidos tienen un icono de advertencia junto a su nombre.

Nota: Las estadísticas de resumen incorporan todos los campos generales con suficientes datos de entrenamiento, tanto los que se pueden entrenar en directo como los que se han entrenado previamente. Las predicciones para campos generales que están preentrenadas a menudo solo se corrigen cuando son incorrectas, y no siempre se aceptan cuando son correctas. Esto significa que sus estadísticas de precisión y recuperación a menudo pueden ser artificialmente bajas, lo que reduciría las puntuaciones medias.

Métricas

La página Validación de campos generales muestra las estadísticas de rendimiento de campo general promedio, así como un gráfico que muestra la puntuación F1 promedio de cada campo general en comparación con el tamaño de su conjunto de entrenamiento. El gráfico también marca los campos generales que tienen advertencias de rendimiento de color ámbar o rojo.

Las estadísticas generales de rendimiento de campo que se muestran son:

• Puntuación F1 media: media de las puntuaciones F1 en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Esta puntuación tiene en cuenta la memoria y la precisión por igual. Un modelo con una puntuación F1 alta produce menos falsos positivos y negativos.
• Precisión media: media de las puntuaciones de precisión en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Un modelo con alta precisión produce menos falsos positivos.
• Promedio de recuperación: promedio de las puntuaciones de recuperación en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Un modelo con alta recuperación produce menos falsos negativos.

Comprender el rendimiento general de los campos

El gráfico de rendimiento de campo general que se muestra en la pestaña Métricas de la página Validación (ver arriba) ofrece una indicación visual inmediata de cómo está funcionando cada campo general individual.

Para que un campo general aparezca en este gráfico, debe tener al menos 20 ejemplos anclados presentes en el conjunto de entrenamiento utilizado por la plataforma durante la validación. Para garantizar que esto suceda, los usuarios deben asegurarse de proporcionar un mínimo de 25 (a menudo más) ejemplos anclados por campo general de 25 mensajes diferentes.

Cada campo general se trazará como uno de los tres colores, en función de la comprensión del modelo de cómo está funcionando el campo general. A continuación, explicamos lo que significan:

Indicadores generales de rendimiento de campo

Indicadores generales de rendimiento de campo:

• Los campos generales representados en azul en el gráfico tienen un nivel de rendimiento satisfactorio . Esto se basa en numerosos factores que contribuyen, incluido el número y la variedad de ejemplos y la precisión media para ese campo general

• Los campos generales representados en ámbar tienen un rendimiento ligeramente inferior al satisfactorio. Pueden tener una precisión media relativamente baja o no tener suficientes ejemplos de entrenamiento. Estos campos generales requieren un poco de entrenamiento/corrección para mejorar su rendimiento

• Los campos generales trazados en rojo son campos generales de bajo rendimiento. Pueden tener una precisión media muy baja o no tener suficientes ejemplos de entrenamiento. Estos campos generales pueden requerir mucho más entrenamiento/corrección para llevar su rendimiento a un nivel satisfactorio

Nota: Verás que los indicadores de rendimiento ámbar y rojo aparecen en las barras de filtro de campo generales en Explorar, Informes y Validación. Esto ayuda a notificarte rápidamente qué campos generales necesitan ayuda, y también en qué predicciones de los campos generales no se debe confiar (sin algún trabajo para mejorarlos) al utilizar las características de análisis.

Rendimiento de campo general individual

Los usuarios pueden seleccionar campos generales individuales desde la barra de filtro de campos generales (o haciendo clic en el diagrama del campo general en el gráfico Todos los campos generales) para ver las estadísticas de rendimiento del campo general.

La vista de campo general específica también mostrará cualquier advertencia de rendimiento y sugerencias de mejores acciones recomendadas para ayudar a mejorar su rendimiento.

La vista de campo general mostrará la puntuación F1 media para el campo general, así como su precisión y recuperación.

Ejemplo de tarjeta de campo general con acciones recomendadas

Mejorar el rendimiento general del campo

Permisos de usuario necesarios: revisar y anotar.

Información general

Al igual que las etiquetas de entrenamiento, el entrenamiento de los campos generales es el proceso mediante el cual un usuario enseña a la plataforma qué campos generales se aplican en un mensaje determinado utilizando varios modos de entrenamiento.

Al igual que con las etiquetas, los modos ' Enseñar', ' Verificar' y ' Perdido' están disponibles para ayudar a entrenar y mejorar el rendimiento de los campos generales y se puede acceder a ellos 1) en la página Explorar utilizando el menú desplegable de entrenamiento, o 2) por siguiendo las acciones recomendadas en la pestaña Campos generales de la página Validación.

Así es como se ve el menú desplegable que contiene los modos generales de entrenamiento de campo en Explorar:

Acciones recomendadas en el campo general

Si un campo general específico tiene una advertencia de rendimiento, la plataforma recomienda la siguiente mejor acción que cree que ayudará a abordar esa advertencia, enumerada en orden de prioridad. Esto se mostrará cuando selecciones un campo general específico de la taxonomía o del gráfico Todos los campos generales.

Las siguientes sugerencias de mejores acciones actúan como enlaces en los que puedes hacer clic para llevarte directamente a la vista de entrenamiento que sugiere la plataforma para mejorar el rendimiento general del campo. Las sugerencias se ordenan de forma inteligente con la acción de mayor prioridad para mejorar el campo general enumerado en primer lugar.

Esta es la herramienta más importante para ayudarte a comprender el rendimiento de tus campos generales, y debe utilizarse regularmente como guía cuando se intenta mejorar el rendimiento general de los campos.

Consulta este ejemplo de una tarjeta de campo general con acciones recomendadas:

Modos generales de entrenamiento de campo

La siguiente tabla resume cuándo recomienda la plataforma cada modo de entrenamiento de campo general:

Enseñar campo general	Marcar campo general	Falta el campo general
- Mostrar predicciones para una etiqueta en la que el modelo es más confuso si se aplica o no - Para entrenar campos generales en mensajes no revisados	: muestra los mensajes en los que la plataforma cree que el campo general puede haberse aplicado incorrectamente - Para entrenar campos generales en mensajes revisados para tratar de encontrar y corregir cualquier inconsistencia	: muestra los mensajes que la plataforma cree que pueden faltar en el campo general seleccionado - Para entrenar campos generales en mensajes revisados para tratar de encontrar y corregir cualquier inconsistencia

Uso del campo Enseñar general

El uso del campo Enseñar general aumenta el rendimiento general del campo, porque el modelo recibe nueva información sobre los mensajes de los que no está seguro, a diferencia de los que ya tiene predicciones muy fiables.

La plataforma recomienda Enseñar campos generales cuando:

• Hay una advertencia de rendimiento junto a un campo general (como se ve a continuación, cuando el campo mín. 25 ejemplos no se han proporcionado)
• La puntuación F1 en un campo general determinado es baja
• Puede que no siempre haya un contexto obvio dentro del texto para un campo general, o que haya mucha variación dentro de los valores de campo generales para un tipo determinado

Este es un ejemplo de entrenamiento de un campo general en el modo Enseñar campos generales:

Uso de Comprobar campos generales

El uso de Comprobar campo general ayuda a identificar inconsistencias en el conjunto revisado, al tiempo que mejora la comprensión del modelo del campo general, al garantizar que el modelo tiene ejemplos correctos y coherentes para hacer predicciones. Esto mejorará la recuperación de un campo general.

La plataforma recomienda Comprobar campos generales cuando:

• Hay poca recuperación, pero alta precisión
• Las predicciones que hace la plataforma son muy precisas, pero la mayoría de las veces en las que se ha aplicado el campo general, no detecta estos ejemplos

Este es un ejemplo de entrenamiento de un campo general en el modo Comprobar campos generales:

(Para obtener más detalles sobre los cálculos para la validación general de campos, consulta aquí)

Uso del campo general perdido

El uso del campo general perdido ayuda a encontrar ejemplos en el conjunto revisado que deberían tener el campo general seleccionado pero no lo tienen. También ayudará a identificar mensajes parcialmente anotados que pueden ser perjudiciales para la capacidad del modelo para predecir un campo general. Esto mejorará la precisión de un campo general y garantizará que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones.

La plataforma recomienda Campo general perdido cuando:

• Hay alta recuperación, pero baja precisión
• Estamos prediciendo incorrectamente muchos campos generales, pero cuando los predecimos correctamente, captamos muchos de los ejemplos que deberían estar allí

Este es un ejemplo de entrenamiento de un campo general en el modo Campo general perdido:

Para obtener más información sobre los cálculos para la validación general de campos, consulta la página Validación de campos generales .

Crear campos generales personalizados de expresiones regulares

Permisos necesarios: modificar conjuntos de datos.

Nota: Puedes crear campos generales Regex personalizados a través de la configuración del Conjunto de datos o la opción Administrar campos generales en la experiencia de anotación de campo de Extracción generativa, explicada en detalle, en la página Extracción generativa .

¿Qué son los campos generales personalizados de Regex?

Utiliza campos generales Regex personalizados para extraer y formatear tramos de texto que tengan una estructura repetitiva conocida, como ID o números de referencia.

Esta es una opción útil para campos generales simples y estructurados con poca variación. En el caso de campos generales con variaciones significativas y donde el contexto tiene una gran influencia en las predicciones, la elección correcta es un campo general basado en aprendizaje automático. Puedes utilizar combinaciones de los dos en cualquier conjunto de datos dentro de Communications Mining.

También se puede utilizar una expresión regular más amplia (es decir, un conjunto de reglas para definir el campo general) como base de un campo general personalizado. Esto combina las reglas con el refinamiento contextual basado en el aprendizaje automático a través del entrenamiento dentro de Communications Mining para crear sofisticados campos generales personalizados. Esto proporciona el rendimiento más óptimo, así como las restricciones necesarias sobre los valores extraídos para la automatización.

Plantilla de expresión regular personalizada

Un campo general Regex personalizado se compone de un tipo de campo con el tipo de datos Regex, que a su vez tiene una o más plantillas Regex personalizadas. Cada plantilla expresa una forma de extraer (y formatear) el campo general.

Combinadas, estas plantillas ofrecen una forma flexible y potente de cubrir múltiples representaciones del mismo tipo de campo general.

Una plantilla consta de dos partes:

1. La expresión regular (expresión regular), que describe las restricciones que debe cumplir un tramo de texto para extraerlo como campo general.
2. El formato, que expresa cómo normalizar la cadena extraída en un formato más estándar.

Por ejemplo, si tus ID de cliente son la palabra ID , seguida de 7 dígitos, o una cadena alfanumérica de 9 caracteres, así se verán tus dos plantillas:

Validación de escritura anticipada

Al escribir en el cuadro de texto para la expresión regular o el formato, la interfaz proporcionará comentarios inmediatos sobre la validez de la entrada. Por ejemplo, la entrada no válida Regex ID\ d{} mostrará:

Vista previa de extracción

La plantilla de expresión regular personalizada puede probarse en texto para garantizar que se comporta como se espera. Cualquier campo general que se extraiga con la plantilla se mostrará en una lista, con su valor, así como la posición de los caracteres de inicio y final.

Por ejemplo, si Regex es \d{4} y el formato ID-{$} , la siguiente cadena de prueba mostrará una extracción:

Expresión regular

La expresión regular es el patrón utilizado para extraer campos generales en el texto. Consulta la documentación de sintaxis.

Los grupos de captura con nombre pueden utilizarse para identificar una sección específica de la cadena extraída para su posterior formateo. Los nombres de los grupos de captura deben ser únicos en todas las plantillas y solo deben contener letras en minúscula o dígitos.

Formatting

Se puede proporcionar formato para postprocesar el campo general extraído.

De forma predeterminada, no se aplica ningún formato y la cadena devuelta por la plataforma será la cadena extraída por la expresión regular. Sin embargo, si es necesario, se pueden definir transformaciones más complejas, utilizando las siguientes reglas.

Variables

Cualquier grupo de captura con nombre definido en la expresión regular estará disponible para su uso en la lógica de formato como una variable, precedida del símbolo $ . Ten en cuenta que el símbolo $ por sí solo representa la coincidencia completa de expresiones regulares.

Las variables pueden utilizarse en la cadena de formato para insertar el intervalo extraído correspondiente en el valor devuelto por la plataforma; el nombre de la variable debe estar entre llaves { y } .

Por ejemplo, si queremos extraer siete dígitos como ID y devolver estos siete dígitos con el prefijo ID- , la expresión regular y el formato serían:

O bien, utilizando un grupo de captura con nombre:

Más adelante, si la plataforma recibe el texto Mi número de identificación es 1234567 , devolverá un campo general: ID-1234567

Operaciones de cadena

Se pueden utilizar cadenas sin formato, y las cadenas se pueden concatenar utilizando el símbolo & .

Expresión regular	(?P<id1>\b\d{3}\b)|(?P<id2>\b\d{4}\b)
Formatting	{$id1 & "-" & $id2}
Texto	El primer ID es 123 y el segundo es 4567
Campo general devuelto por la plataforma	123-4567

Funciones

Algunas funciones también pueden utilizarse en el formato para transformar la cadena extraída. Los nombres de las funciones y sus firmas están inspirados en Excel.

Superior

Convierte todos los caracteres del intervalo extraído a mayúsculas:

Expresión regular	\w{3}
Formatting	{upper($)}
Texto	abc
Campo general devuelto por la plataforma	ABC

Inferior

Convierte todos los caracteres del intervalo extraído a minúsculas:

Expresión regular	\w{3}
Formatting	{lower($)}
Texto	AbC
Campo general devuelto por la plataforma	abc

Correcto

Pone en mayúscula el intervalo extraído:

Expresión regular	\w+\s\w+
Formatting	{proper($)}
Texto	alberto einstein
Campo general devuelto por la plataforma	Albert Einstein

Almohadilla

Rellena el intervalo extraído hasta un tamaño determinado con un carácter determinado.

Argumentos de la función:

1. El texto que contiene los caracteres que se van a rellenar
2. Tamaño de la cadena rellenada
3. Carácter que se utilizará para el relleno

Expresión regular	\d{2,5}
Formatting	{pad($, 5, "0")}
Texto	123
Campo general devuelto por la plataforma	00123

Sustituir

Reemplaza los caracteres por otros caracteres.

Argumentos de la función:

1. El texto que contiene los caracteres que se van a sustituir
2. Qué caracteres reemplazar
3. Por qué deben reemplazarse los caracteres antiguos

Expresión regular	ab
Formatting	{substitute($, "a", "12")}
Texto	ab
Campo general devuelto por la plataforma	12b

Left

Devuelve los primeros n caracteres del intervalo.

Argumentos de la función:

1. El texto que contiene los caracteres que se van a extraer
2. El número de caracteres a devolver

Expresión regular	\w{4}
Formatting	{left($, 2)}
Texto	ABCD
Campo general devuelto por la plataforma	AB

Derecha

Devuelve los últimos n caracteres del intervalo.

Argumentos de la función:

1. El texto que contiene los caracteres que se van a extraer
2. El número de caracteres a devolver

Expresión regular	\w{4}
Formatting	{right($, 2)}
Texto	ABCD
Campo general devuelto por la plataforma	CD

Medio

Devuelve n caracteres después de la posición especificada del intervalo.

Argumentos de la función:

1. El texto que contiene los caracteres que se van a extraer
2. La posición del primer carácter a devolver
3. El número de caracteres a devolver

Expresión regular	\w{5}
Formatting	{mid($, 2, 3)}
Texto	ABCDE
Campo general devuelto por la plataforma	BCD