- Primeros pasos
- Equilibrio
- Clústeres
- Deriva del concepto
- Cobertura
- Conjuntos de datos
- Campos generales (anteriormente entidades)
- Etiquetas (predicciones, niveles de confianza, jerarquía, etc.)
- Modelos
- Transmisiones
- Clasificación del modelo
- Proyectos
- Precisión
- Recordar
- Mensajes revisados y no revisados
- Fuentes
- Taxonomías
- Formación
- Predicciones positivas y negativas verdaderas y falsas
- Validación
- Mensajes
- Administración
- Gestionar fuentes y conjuntos de datos
- Comprender la estructura de datos y los permisos
- Crear un origen de datos en la GUI
- Cargar un archivo CSV en un origen
- Crear un nuevo conjunto de datos
- Fuentes y conjuntos de datos multilingües
- Habilitar sentimiento en un conjunto de datos
- Modificar la configuración de un conjunto de datos
- Eliminar mensajes a través de la IU
- Eliminar un conjunto de datos
- Exportar un conjunto de datos
- Uso de integraciones de Exchange
- Preparando datos para cargar archivos .CSV
- Entrenamiento y mantenimiento de modelos
- Comprender las etiquetas, los campos generales y los metadatos
- Jerarquía de etiquetas y mejores prácticas
- Definición de los objetivos de taxonomía
- Casos de uso de análisis frente a automatización
- Convertir tus objetivos en etiquetas
- Crear tu estructura de taxonomía
- Mejores prácticas de diseño de taxonomía
- Importar tu taxonomía
- Descripción general del proceso de entrenamiento del modelo
- Anotación generativa (NUEVO)
- Comprender el estado de tu conjunto de datos
- Entrenamiento de modelos y mejores prácticas de anotación
- Entrenamiento con análisis de sentimiento de etiqueta habilitado
- Entrenamiento
- Introducción a Refinar
- Explicación de la precisión y la recuperación
- Precisión y recuperación
- ¿Cómo funciona la validación?
- Comprender y mejorar el rendimiento del modelo
- ¿Por qué una etiqueta puede tener una precisión media baja?
- Entrenamiento utilizando la etiqueta Comprobar y la etiqueta Perdida
- Entrenamiento mediante la etiqueta de aprendizaje (refinar)
- Entrenamiento mediante Buscar (Refinar)
- Comprender y aumentar la cobertura
- Mejorar el equilibrio y utilizar Reequilibrar
- Cuándo dejar de entrenar tu modelo
- Uso de campos generales
- Extracción generativa
- Uso de análisis y supervisión
- Minería de automatizaciones y comunicaciones
- Información de licencia
- Preguntas frecuentes y más
Uso de campos generales
Una guía para configurar y entrenar campos generales en la plataforma.
Es importante definir los puntos de datos clave (es decir, campos) que desea extraer de sus datos de Communications Mining. Estos suelen facilitar la automatización posterior, pero también pueden ser útiles para el análisis, en particular para evaluar la tasa de éxito potencial y el beneficio de las oportunidades de automatización.
- Los campos generales son campos que es posible que desees extraer, que se pueden encontrar en varios temas/etiquetas diferentes en un conjunto de datos.
- Los campos de extracción son los campos condicionados y creados en una etiqueta específica. En otras palabras, está vinculado a una etiqueta específica que quieres automatizar.
Consulta la documentación oficial para obtener más información sobre los campos Extracción generativa y General frente a extracción. Si la Extracción generativa no está disponible en tu región, sigue utilizando los campos generales como de costumbre. El resto de esta sección proporciona orientación sobre cómo utilizar los campos generales.
En última instancia, las predicciones generales de campo, combinadas con las etiquetas, pueden facilitar la automatización al proporcionar los puntos de datos estructurados necesarios para completar una tarea o proceso específico. Es mucho más eficiente entrenar campos generales en tu conjunto de datos junto con etiquetas, en lugar de centrarse en uno y luego en el otro (es decir, entrenar campos generales después de entrenar una taxonomía completa de etiquetas).
Consulta la documentación oficial para obtener más información sobre los campos Extracción generativa y General frente a extracción. Si la Extracción generativa no está disponible en tu región, sigue utilizando los campos generales como de costumbre. El resto de esta sección proporciona orientación sobre cómo utilizar los campos generales.
¿Qué son los campos generales?
Los campos generales son elementos adicionales de datos estructurados que se pueden extraer de los mensajes de tu conjunto de datos. Los campos generales incluyen puntos de datos como cantidades monetarias, fechas, códigos de moneda, direcciones de correo electrónico, URL, así como muchas otras categorías específicas de la industria (consulta un ejemplo a continuación).
La plataforma es capaz de predecir la mayoría de los campos generales (excepto los entrenados desde cero) tan pronto como se habilitan, ya que puede identificarlos en función de su formato típico, o en algunos casos muy específico, y un conjunto de entrenamiento de campos generales similares.
Al igual que las etiquetas, los usuarios pueden aceptar o rechazar campos generales que se predicen correcta o incorrectamente, lo que mejora la capacidad del modelo para identificarlos en el futuro.
Tipos de campos generales
Actualmente hay dos tipos principales de campos generales:
- Campos generales preentrenados que normalmente se basan en un conjunto de reglas estándar o personalizadas, por ejemplo Cantidad monetaria, URL y fecha
- Campos generales entrenados desde cero por un usuario (como si entrenaran etiquetas) que están basados en el aprendizaje automático
Campos generales entrenables frente a no entrenables
Todos los campos generales son entrenables por naturaleza (campos generales entrenados desde cero), o pueden hacerse entrenables cuando están habilitados (todos los demás tipos de campos generales).
Los campos generales entrenables son aquellos que se actualizarán en vivo en la plataforma en función del entrenamiento proporcionado por los usuarios. Para obtener más información sobre el entrenamiento de campos generales, consulta aquí.
Si habilitas el entrenamiento en un campo general preentrenado que normalmente se basa en un conjunto de reglas estándar o personalizadas, puedes refinar la comprensión de la plataforma de ese campo general dentro de los parámetros de esas reglas. Esencialmente, una mayor formación en estos reducirá el alcance de lo que la plataforma puede considerar ese campo general, pero no lo aumentará.
Esto se debe a que muchos de estos campos generales, como las fechas (por ejemplo, 'mañana') y cantidades monetarias (p. ej. 20 £), deben normalizarse en un formato de datos estructurados para los sistemas posteriores. También para campos generales como ISIN o CUSIP, estos deben tener un formato establecido, por lo que no se debe enseñar a la plataforma a predecir nada que no se ajuste a sus formatos definidos.
Cuando se asigna cualquier campo general entrenable, la plataforma mira tanto el texto del campo general como el contexto del campo general dentro del resto de la comunicación, es decir, lo que sucede antes y después del valor del campo general (en el mismo párrafo, y el anterior y el siguiente). Aprende a predecir mejor el campo general en función de los propios valores, así como de cómo aparece el valor en el contexto de la comunicación.
Si un campo general preentrenado no se establece como entrenable, puedes aceptar o rechazar las predicciones de campo general que ves en tu conjunto de datos. Estos se actualizan y refinan sin conexión utilizando estos comentarios en la plataforma proporcionados por los usuarios. Es útil aceptar o rechazar estos campos generales al revisar los mensajes. Para obtener más información sobre cómo habilitar campos generales en un conjunto de datos, consulta la página Habilitar, deshabilitar, actualizar y crear campos generales .
Al configurar los tipos de campo generales, puedes seleccionar una de las siguientes opciones predefinidas, a través de la opción de plantilla al seleccionar el tipo de datos para el tipo de campo.
| Tipo de campo general | Descripción |
|---|---|
| Correo electrónico | Una dirección de correo electrónico. |
| Moneda | Un código de moneda, por ejemplo GBP, CHF o USD. |
| URL | Un localizador de recursos uniforme (es decir, dirección web). |
| SEDOL | Un identificador de seguridad financiera, abreviatura de Lista oficial diaria de la bolsa de valores, que tiene 7 caracteres de longitud. |
| Código BIC | Un código de identificación empresarial (BIC) es un estándar internacional bajo la norma ISO 9362 para enrutar transacciones comerciales e identificar partes comerciales. El código BIC tiene una longitud de 8 u 11 caracteres. |
| LEI | Un identificador de campo general legal (LEI) es un identificador global único de campos generales legales que participan en transacciones financieras. El LEI tiene el formato de un código alfanumérico de 20 caracteres. |
| es en | Un número internacional de identificación de valores (ISIN) identifica de forma única un valor financiero. ISIN es un código alfanumérico de 12 caracteres. |
|
Mark-to-market (MTM o M2M) | Mark-to-market se refiere al valor razonable de un activo o pasivo. Mark-to-market se basa en el precio de mercado actual, el precio de activos y pasivos similares, o en otro valor razonable obsesionado objetivamente. |
| CUSIP | Un CUSIP es un número de 9 dígitos o un código alfanumérico de 9 caracteres que identifica un valor financiero norteamericano con el fin de facilitar la compensación y liquidación de operaciones. |
Se requieren permisos de usuario: 'Ver fuentes' Y 'Modificar conjuntos de datos' O 'Administrador de conjuntos de datos'.
Habilitar campos generales en un nuevo conjunto de datos
Para habilitar los campos generales en un nuevo conjunto de datos que quieras crear, solo tienes que seleccionarlos durante el proceso de configuración.
Haz clic en el botón + en el cuadro que se muestra a continuación y se te presentará un menú desplegable de todos los campos generales que puedes habilitar para ese conjunto de datos. Simplemente haz clic en todos los campos generales que quieras habilitar antes de crear el conjunto de datos. Si añades alguno por error, puedes hacer clic en el icono 'X' junto al nombre del campo general para eliminarlo.
Para obtener más información sobre cómo crear un nuevo conjunto de datos, consulta aquí.
Habilitar, actualizar y deshabilitar campos generales en un conjunto de datos existente
Si quieres habilitar, actualizar o deshabilitar los campos generales para un conjunto de datos existente, puedes hacerlo desde la pestaña de configuración en la barra de navegación superior, y luego seleccionando la pestaña Etiquetas y campos de extracción.
Habilitar campos generales:
Para habilitar los campos generales existentes, haz clic en el cuadro Campos generales y selecciona los campos generales que deseas habilitar en el menú desplegable. Una vez que estés satisfecho con tus selecciones, selecciona Actualizar campos generales (como se muestra a continuación).
Estos campos generales tendrán su configuración preseleccionada. A continuación, puedes actualizarlos, incluso hacerlos entrenables, como se muestra a continuación.
Actualizar campos generales:
Para actualizar un campo general habilitado, haz clic en el campo general en el cuadro de campo general como se muestra en las imágenes anteriores y aparecerá el modal 'Editar campo general' (a continuación).
Aquí puedes actualizar el campo general base, el título del campo general y el nombre de la API (estos conceptos se describen en detalle a continuación), así como hacer que el campo general sea "entrenable".
Si has revisado previamente los campos generales para un tipo de campo general que no estaba configurado como 'entrenable', esta información aún se almacena.
Deshabilitar campos generales:
Para eliminar cualquier campo general seleccionado, simplemente haz clic en el icono 'X' junto al nombre del campo general y luego haz clic en Actualizar campos generales.
Si eliminas un campo general y haces clic en Actualizar campos generales, también se eliminarán los datos de entrenamiento de ese campo general para este conjunto de datos. Si eliges volver a habilitar el campo general, deberás entrenarlo de nuevo.
Si cometes un error al actualizar los campos generales, haz clic en "Restablecer" antes de hacer clic en Actualizar campos generales y tus cambios no se aplicarán.
Crear nuevos campos generales
Las secciones anteriores cubrieron cómo habilitar y actualizar los campos generales preentrenados existentes para conjuntos de datos nuevos y existentes. En cada instancia, ya sea para un conjunto de datos nuevo o existente, también puedes crear nuevos campos generales.
Los campos generales recién creados pueden basarse en un campo general preentrenado existente o pueden entrenarse desde cero (como una nueva etiqueta).
Puedes hacerlo haciendo clic en el icono "+" en el cuadro de campo general, ya sea en el flujo "Crear conjunto de datos" o en la página de configuración del conjunto de datos (como se muestra arriba).
Esto abrirá el modal 'Añadir un nuevo campo general' como se muestra a continuación.
Aquí puedes establecer los tipos de campo, el título y el nombre de la API, así como seleccionar si el campo general es entrenable o no (estos pueden actualizarse más tarde como se muestra arriba).
Cuando hayas rellenado cada uno de los campos (se explica a continuación), haz clic en "Crear ".
Field types
- Esto servirá como estado inicial para tu nuevo campo general, y el menú desplegable contendrá una lista de todos los campos generales preentrenados disponibles para ti
- Por ejemplo, si seleccionas "Fecha" como tu campo general base, todos los campos generales previstos para este tipo serán fechas, y entonces podrías entrenar la plataforma para que solo reconozca fechas específicas
-
Si quieres entrenar un campo general completamente desde cero, puedes seleccionar "Ninguno - Entrenar desde cero " y, a continuación, empezar con un lienzo en blanco al entrenar el campo general. Las predicciones de la plataforma para este campo general se basarán completamente en los ejemplos de entrenamiento que proporciones
Título del campo general
- El título del campo general es el nombre del campo general que aparecerá en la IU de la plataforma
NombreDeAPI
- El nombre de la API del campo general es lo que se devolverá a través de la API cuando proporcione predicciones para los mensajes
- El nombre de la API no puede contener espacios ni signos de puntuación, excepto guiones (-) y guiones bajos (_).
Permisos de usuario necesarios: Ver orígenes Y Ver campos generales.
Al igual que con las etiquetas, puedes filtrar los mensajes por si tienen campos generales previstos o asignados, tanto en Explorar como en Informes.
Puedes aplicar cualquier combinación de AND, ANY OF y NOT al aplicar más de un filtro de campo general. Estos filtros pueden darte una flexibilidad mucho mayor a la hora de entrenar e interpretar tus datos, y pueden proporcionar información mucho más profunda sobre lo que sucede en tus canales de comunicación.
Estas son algunas de las cosas que puedes hacer al filtrar por predicciones generales de campo:
- Aplicar varios filtros de campo generales a la vez, tanto en Explorar como en Informes
- Filtrar a los mensajes que tienen uno del número de campos generales seleccionados previstos (es decir, CUALQUIERA DEL campo general X Y el campo general Y Y ...)
- Filtrar a los mensajes que tienen varios campos generales diferentes previstos (es decir, campo general X Y campo general Y Y ...)
- Filtrar a los mensajes que no tienen determinados campos generales previstos (es decir, campo NO general Y)
- Buscar campos generales que contengan términos de búsqueda específicos, mientras se aplican filtros de campo generales
Todos los campos generales que hayas habilitado en tu conjunto de datos aparecerán como se muestra a continuación en la barra de filtro. La asignación de campos generales se trata en detalle en Revisar y aplicar campos generales.
Ahora hay dos formas de aplicar filtros de campo generales, y puedes usarlos en combinación para crear el tipo de consulta correcto.
El estado predeterminado se muestra arriba, por lo que no se aplica ningún filtro y se mostrarán todos los mensajes (a menos que se aplique otro filtro).
Para actualizar el filtro de campo general, utiliza los botones que se explican a continuación. Cambian de color cuando se seleccionan:
| Muestra los mensajes que contienen cualquier campo general anotado. | |
| Mostrar mensajes que se prevé que contengan un campo general |
Si quieres filtrar los mensajes que tienen campos generales anotados o que se prevé que contengan un campo general, utiliza los botones de la parte superior (como se muestra arriba). Si quieres filtrar mensajes con campos generales específicos anotados o previstos, pasa el ratón por encima del campo general en cuestión y aparecerán los mismos dos botones a la derecha.
Si quieres filtrar a un campo general asignado o previsto, selecciona el nombre del campo general y mostrará los mensajes con cualquiera de ellos.
Para eliminar tu selección, selecciona el botón de nuevo, y para eliminar varias selecciones, selecciona Todo. También puedes seleccionar Borrar todo en la parte superior de la barra de filtros, pero esto borrará todos los filtros que hayas seleccionado, no solo los filtros de campo generales.
La taxonomía de los campos generales funciona como una barra de filtro normal y te permite seleccionar varios campos generales a la vez con un solo clic para cada uno.
La selección de varios campos generales de la lista crea una consulta de tipo ANY OF.
Si seleccionaste Campo general A, Campo general B y Campo general C en la barra de campo General, esto crea una consulta predicha Mostrarme mensajes con Campo general A, Campo general B o Campo general C.
Al filtrar por campos generales específicos, puedes realizar varias selecciones. Por ejemplo, podrías filtrar para ver los mensajes que tienen un campo general de línea de dirección asignado O un campo general de ciudad predicho (como se muestra a continuación).
La segunda opción de filtro es el botón + Añadir filtro de campo general situado encima de la barra de campo general.
Esto habilita una barra de campo general desplegable que te permite seleccionar filtros más complejos, como excluir ciertos campos generales de la consideración.
Desde este menú desplegable, puedes seleccionar varios campos generales para incluir o excluir haciendo clic en el nombre del campo general (para asignado y previsto), o en los botones individuales (incluido el signo menos para cuando este campo general no esté asignado ni previsto).
El resultado es similar al de este ejemplo, que devuelve los mensajes previstos para tener el campo general ID de factura, pero no el campo general ID de producto asignado o previsto:
Puedes seleccionar + Añadir filtro de campo general varias veces para añadir capas adicionales a tu consulta. Dos filtros de campo generales independientes crean una consulta de tipo AND, mientras que varios campos generales seleccionados en el mismo filtro de campo general crean una consulta de tipo ANY OF.
En el siguiente ejemplo, se han aplicado varios filtros de campo generales de forma individual. Esto crea un filtro que devolverá los mensajes que se prevé que tengan cualquiera de los tres campos generales del primer filtro, pero que también tengan el campo general Número de póliza previsto, y no tengan el campo general Código postal del Reino Unido previsto o asignado.
Un consejo útil es que, al seleccionar el signo & en un filtro individual que contenga varios campos generales, puedes dividirlos automáticamente en filtros individuales. Esto cambiaría la consulta de ANY OF (es decir, cualquiera de estos campos generales previstos) a AND (es decir, todos estos campos generales previstos).
Es posible combinar filtros tanto de la barra de campo general como de filtros de campo generales añadidos individualmente. Los filtros aplicados en la barra de campo general se tratan como una consulta AND con cualquier filtro de campo general aplicado individualmente.
Por ejemplo, en la siguiente imagen, esta consulta combinada devolvería cualquier mensaje que tuviera previsto un ID DE PEDIDO o un ID DE PROD.
Combine el filtro de campo general utilizando la barra de campo general y los filtros de campo generales añadidos individualmente.
Lo que también significan estos nuevos filtros es que ahora puedes aplicar filtros de campo generales y ordenar por un campo general específico para un modo de entrenamiento.
Permisos de usuario necesarios: 'Ver fuentes' Y 'Revisar y etiquetar'.
Los campos generales previstos aparecen como texto resaltado en color, como en la primera línea del siguiente mensaje, con un color diferente para cada tipo de campo general diferente. Una vez que un campo general ha sido confirmado por un usuario, ya sea aplicándolo manualmente o aceptando una predicción, el campo general aparecerá como texto resaltado con un contorno más oscuro y en negrita como se muestra a continuación.
Si un párrafo tiene campos generales asignados, descartados o aplicados, aparecerá resaltado en gris, como se muestra en el cuerpo del mensaje a continuación.
Al revisar los campos generales entrenables, es importante recordar que la plataforma aprenderá tanto de los valores de campo generales que asigne, como del contexto en el que aparecen dentro de las comunicaciones, es decir, el otro lenguaje que se utiliza en torno a los valores en sí.
La plataforma tendrá en cuenta el contexto del idioma en el mismo párrafo que el valor del campo general, así como los párrafos individuales (indicados por una nueva línea separada) directamente antes y después del párrafo en el que se encuentra el campo general.
Nota: para los campos generales que no están configurados como "entrenables", las predicciones de la plataforma se basan completamente en las reglas definidas dentro de la plataforma para ese campo general. Esto puede ser beneficioso cuando un campo general tiene que seguir un formato establecido para una automatización posterior, con cualquier valor incorrecto que provoque un fallo o una excepción.
Cuando la plataforma predice qué campos generales se aplican a una comunicación, asigna a cada predicción una puntuación de confianza (%) para mostrar la confianza de que el campo general se aplica al fragmento de texto resaltado. Puedes ver la puntuación de confianza de un campo general pasando el ratón por encima del campo general.
Esta puntuación de confianza también está disponible a través de la API para que pueda informar las acciones automatizadas realizadas posteriormente.
Una vez habilitados los campos generales (consulta aquí), la plataforma comenzará a predecirlos automáticamente en los mensajes de tu conjunto de datos. Los usuarios pueden aceptar las predicciones que sean correctas o rechazarlas cuando sean incorrectas. Cada una de estas acciones envía señales de entrenamiento que se utilizarán para mejorar la comprensión de la plataforma de ese campo general.
Para los campos generales preentrenados que se entrenan sin conexión (p. ej. Cantidad monetaria, URL, etc.), es más importante desde una perspectiva de mejora para los usuarios rechazar o corregir predicciones erróneas que aceptar predicciones correctas.
Para los campos generales que se entrenan en directo en la plataforma, es igualmente importante aceptar las predicciones correctas y rechazar las predicciones incorrectas. Sin embargo, no es necesario seguir aceptando muchos ejemplos correctos de cada campo general único para estos tipos (p. ej. Ejemplo Bank Ltd. es un campo general de organización único) si no encuentra los predichos incorrectamente.
La advertencia clave es que si revisas cualquier campo general en un párrafo, debes revisar todos los demás campos generales de ese párrafo.
Para revisar una predicción de campo general, pasa el ratón por encima de la predicción y aparecerá el modal de revisión de campo general, como se muestra en el siguiente ejemplo. Para aceptarla, haz clic en "Confirmar", para rechazarla, haz clic en "Descartar".
Los campos generales y las etiquetas se pueden entrenar de forma independiente. Revisar las etiquetas de un mensaje no significa que tengas que revisar los campos generales de ese mismo mensaje. Sin embargo, es una buena práctica hacer ambas cosas al mismo tiempo, ya que es el uso más eficiente de tu tiempo mientras entrenas el modelo.
Nota: es muy importante seguir las mejores prácticas que se explican a continuación al entrenar campos generales, especialmente en lo que respecta a no anotar parcialmente los párrafos.
Para entender lo bien que la plataforma es capaz de predecir cada campo general habilitado para un conjunto de datos (en particular los entrenables), consulta aquí.
Es importante que rechaces las predicciones de campos generales incorrectas, pero si el texto resaltado fuera de hecho un campo general diferente (esto sería más común para los campos generales relacionados con fechas) que apliques el correcto después (consulta a continuación cómo aplicar campos).
Para aplicar un campo general a un texto en el que la plataforma puede no haberlo previsto, los usuarios solo tienen que resaltar la sección de prueba como lo harían si fueran a copiarla.
Aparecerá un menú desplegable, como se muestra a continuación, que contiene todos los campos generales que has habilitado para tu conjunto de datos. Simplemente haz clic en el correcto para aplicarlo, o pulsa el atajo de teclado correspondiente.
El atajo de teclado predeterminado para cada campo general es la letra con la que comienza. Si más de un campo general comienza con la misma letra, uno se asignará aleatoriamente al otro.
Una vez aplicado un campo general, se resaltará en color con un contorno en negrita (ver más abajo). Cada tipo de campo general tendrá su propio color específico.
Un valor para un tipo de campo general determinado no se puede dividir en varios párrafos. El valor completo debe estar contenido en un párrafo para que se extraiga como un valor de campo general.
Hay dos prácticas recomendadas muy importantes que hay que recordar al aceptar, rechazar o aplicar campos generales en los mensajes:
1. No dividir palabras
Es importante no dividir las palabras: el campo general resaltado debe cubrir toda la palabra (o varias) en cuestión, no solo una parte de ella (ver el ejemplo incorrecto a la izquierda a continuación, y la aplicación correcta a la derecha)
2. No anotes parcialmente los párrafos
Al anotar, si un usuario asigna una etiqueta a un mensaje, debe aplicar TODAS las etiquetas que podrían aplicarse a ese mensaje; de lo contrario, le enseñas al modelo que esas otras etiquetas no deben aplicarse. Lo mismo ocurre con los campos generales, excepto que los campos generales se revisan o aplican a nivel de párrafo, en lugar de a todo el mensaje.
Los párrafos de un mensaje están separados por nuevas líneas. La línea de asunto de un mensaje de correo electrónico se considera un único párrafo.
Asegúrate de revisar o aplicar todos los campos generales dentro de un párrafo en todos los tipos de campos generales si revisas o aplicas uno de ellos. Aplicar, aceptar o rechazar campos generales en un párrafo significa que la plataforma trata el párrafo como "revisado" desde una perspectiva de campo general. Por lo tanto, es importante aceptar o rechazar TODAS las predicciones de ese párrafo.
El siguiente ejemplo muestra los diferentes párrafos que se han revisado dentro del mensaje de correo electrónico.
El mensaje que se muestra a continuación muestra el mismo ejemplo en el que el usuario no ha aceptado o rechazado todas las predicciones de campo generales en un solo párrafo. Esto es incorrecto, ya que el modelo tratará erróneamente el campo general de cantidad monetaria como una predicción incorrecta.
La plataforma muestra estadísticas de validación, advertencias y acciones recomendadas para los campos generales habilitados en la página Validación, al igual que para cada etiqueta de tu taxonomía.
Para verlos, ve a la página Validación y selecciona la pestaña Campos generales en la parte superior, como se muestra en la siguiente imagen.
El proceso en el que la plataforma valida su capacidad para predecir correctamente los campos generales es muy similar al de las etiquetas.
Los mensajes se dividen (80:20) en un conjunto de entrenamiento y un conjunto de prueba (determinado aleatoriamente por el ID de mensaje de cada mensaje) cuando se añaden por primera vez al conjunto de datos. Cualquier campo general que se haya asignado (predicciones que se aceptaron o corrigieron) caerá en el conjunto de entrenamiento o el conjunto de prueba, en función del conjunto al que se asignó originalmente el mensaje en el que se encuentran.
Como a veces puede haber un gran número de campos generales en un mensaje y no se garantiza si un mensaje está en el conjunto de entrenamiento o en el conjunto de prueba, puedes ver una gran disparidad entre el número de campos generales en cada conjunto.
También puede haber casos en los que todos los campos generales asignados caigan en el conjunto de entrenamiento. Como se requiere al menos un ejemplo en el conjunto de pruebas para calcular las puntuaciones de validación, este campo general requeriría más ejemplos asignados hasta que algunos estuvieran presentes en el conjunto de pruebas.
Las estadísticas individuales de precisión y recuperación para cada campo general con suficientes datos de entrenamiento se calculan de forma muy similar a la de las etiquetas:
Precisión = N.º de campos generales coincidentes / N.º de campos generales previstos
Recuperación = N.º de campos generales coincidentes / N.º de campos generales reales
Un "campo general coincidente" es cuando la plataforma ha predicho el campo general exactamente (es decir, sin coincidencias parciales)
La puntuación F1 es simplemente la media armónica tanto de la precisión como de la recuperación.
Vale la pena señalar que las estadísticas de precisión y recuperación que se muestran en esta página son más útiles para los campos generales que se pueden entrenar en vivo en la plataforma (que se muestran en la segunda columna anterior), ya que todos los campos generales revisados para estos tipos de campos generales se afectar a la capacidad de la plataforma para predecir esos campos generales.
Por lo tanto, la aceptación de los campos generales correctos y la corrección o el rechazo de los campos generales erróneos debe hacerse siempre que sea posible.
Para los campos generales que se entrenan previamente a través de tipos de campo de plantilla, para que las estadísticas de validación proporcionen un reflejo preciso del rendimiento, los usuarios deberían asegurarse de que aceptan una cantidad considerable de predicciones correctas, así como de corregir las incorrectas.
Si solo corrigieran las predicciones erróneas, los conjuntos de entrenamiento y prueba se llenarían artificialmente solo de las instancias en las que la plataforma ha tenido problemas para predecir un campo general, y no de aquellas en las que es más capaz de predecirlas. Como la corrección de predicciones erróneas para estos campos generales no conduce a una actualización en tiempo real de estos campos generales (se actualizan periódicamente sin conexión), las estadísticas de validación pueden no cambiar durante un tiempo y podrían ser artificialmente bajas.
Aceptar muchas de las predicciones correctas puede no ser siempre conveniente, ya que estos campos generales se predicen correctamente la mayoría de las veces. Pero si la mayoría de las predicciones son correctas para estos campos generales, es probable que no tengas que preocuparte por su precisión y las estadísticas de recuperación en la página Validación.
Las estadísticas de resumen (precisión media, recuperación media y puntuación F1 media) son simplemente medias de cada una de las puntuaciones de campo generales individuales.
Al igual que con las etiquetas, solo los campos generales que tienen suficientes datos de entrenamiento se incluyen en las puntuaciones medias. Aquellos que no tienen suficientes datos de entrenamiento para ser incluidos tienen un icono de advertencia junto a su nombre.
La página Validación de campos generales muestra las estadísticas de rendimiento de campo general promedio, así como un gráfico que muestra la puntuación F1 promedio de cada campo general en comparación con el tamaño de su conjunto de entrenamiento. El gráfico también marca los campos generales que tienen advertencias de rendimiento de color ámbar o rojo.
Las estadísticas generales de rendimiento de campo que se muestran son:
- Puntuación F1 media: media de las puntuaciones F1 en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Esta puntuación tiene en cuenta la memoria y la precisión por igual. Un modelo con una puntuación F1 alta produce menos falsos positivos y negativos.
- Precisión media: media de las puntuaciones de precisión en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Un modelo con alta precisión produce menos falsos positivos.
- Promedio de recuperación: promedio de las puntuaciones de recuperación en todos los campos generales con datos suficientes para estimar con precisión el rendimiento. Un modelo con alta recuperación produce menos falsos negativos.
El gráfico de rendimiento de campo general que se muestra en la pestaña Métricas de la página Validación (ver arriba) ofrece una indicación visual inmediata de cómo está funcionando cada campo general individual.
Para que un campo general aparezca en este gráfico, debe tener al menos 20 ejemplos anclados presentes en el conjunto de entrenamiento utilizado por la plataforma durante la validación. Para garantizar que esto suceda, los usuarios deben asegurarse de proporcionar un mínimo de 25 (a menudo más) ejemplos anclados por campo general de 25 mensajes diferentes.
Cada campo general se trazará como uno de los tres colores, en función de la comprensión del modelo de cómo está funcionando el campo general. A continuación, explicamos lo que significan:
Indicadores generales de rendimiento de campo:
- Los campos generales representados en azul en el gráfico tienen un nivel de rendimiento satisfactorio . Esto se basa en numerosos factores que contribuyen, incluido el número y la variedad de ejemplos y la precisión media para ese campo general
- Los campos generales representados en ámbar tienen un rendimiento ligeramente inferior al satisfactorio. Pueden tener una precisión media relativamente baja o no tener suficientes ejemplos de entrenamiento. Estos campos generales requieren un poco de entrenamiento/corrección para mejorar su rendimiento
- Los campos generales trazados en rojo son campos generales de bajo rendimiento. Pueden tener una precisión media muy baja o no tener suficientes ejemplos de entrenamiento. Estos campos generales pueden requerir mucho más entrenamiento/corrección para llevar su rendimiento a un nivel satisfactorio
Los usuarios pueden seleccionar campos generales individuales desde la barra de filtro de campos generales (o haciendo clic en el diagrama del campo general en el gráfico Todos los campos generales) para ver las estadísticas de rendimiento del campo general.
La vista de campo general específica también mostrará cualquier advertencia de rendimiento y sugerencias de mejores acciones recomendadas para ayudar a mejorar su rendimiento.
Permisos de usuario necesarios: revisar y anotar.
Al igual que las etiquetas de entrenamiento, el entrenamiento de los campos generales es el proceso mediante el cual un usuario enseña a la plataforma qué campos generales se aplican en un mensaje determinado utilizando varios modos de entrenamiento.
Al igual que con las etiquetas, los modos ' Enseñar', ' Verificar' y ' Perdido' están disponibles para ayudar a entrenar y mejorar el rendimiento de los campos generales y se puede acceder a ellos 1) en la página Explorar utilizando el menú desplegable de entrenamiento, o 2) por siguiendo las acciones recomendadas en la pestaña Campos generales de la página Validación.
Si un campo general específico tiene una advertencia de rendimiento, la plataforma recomienda la siguiente mejor acción que cree que ayudará a abordar esa advertencia, enumerada en orden de prioridad. Esto se mostrará cuando selecciones un campo general específico de la taxonomía o del gráfico Todos los campos generales.
Las siguientes sugerencias de mejores acciones actúan como enlaces en los que puedes hacer clic para llevarte directamente a la vista de entrenamiento que sugiere la plataforma para mejorar el rendimiento general del campo. Las sugerencias se ordenan de forma inteligente con la acción de mayor prioridad para mejorar el campo general enumerado en primer lugar.
Esta es la herramienta más importante para ayudarte a comprender el rendimiento de tus campos generales, y debe utilizarse regularmente como guía cuando se intenta mejorar el rendimiento general de los campos.
La siguiente tabla resume cuándo recomienda la plataforma cada modo de entrenamiento de campo general:
| Enseñar campo general | Marcar campo general | Falta el campo general |
|
- Mostrar predicciones para una etiqueta en la que el modelo es más confuso si se aplica o no - Para entrenar campos generales en mensajes no revisados |
: muestra los mensajes en los que la plataforma cree que el campo general puede haberse aplicado incorrectamente - Para entrenar campos generales en mensajes revisados para tratar de encontrar y corregir cualquier inconsistencia |
: muestra los mensajes que la plataforma cree que pueden faltar en el campo general seleccionado - Para entrenar campos generales en mensajes revisados para tratar de encontrar y corregir cualquier inconsistencia |
El uso del campo Enseñar general aumenta el rendimiento general del campo, porque el modelo recibe nueva información sobre los mensajes de los que no está seguro, a diferencia de los que ya tiene predicciones muy fiables.
La plataforma recomienda Enseñar campos generales cuando:
- Hay una advertencia de rendimiento junto a un campo general (como se ve a continuación, cuando el campo mín. 25 ejemplos no se han proporcionado)
- La puntuación F1 en un campo general determinado es baja
- Puede que no siempre haya un contexto obvio dentro del texto para un campo general, o que haya mucha variación dentro de los valores de campo generales para un tipo determinado
El uso de Comprobar campo general ayuda a identificar inconsistencias en el conjunto revisado, al tiempo que mejora la comprensión del modelo del campo general, al garantizar que el modelo tiene ejemplos correctos y coherentes para hacer predicciones. Esto mejorará la recuperación de un campo general.
La plataforma recomienda Comprobar campos generales cuando:
- Hay poca recuperación, pero alta precisión
- Las predicciones que hace la plataforma son muy precisas, pero la mayoría de las veces en las que se ha aplicado el campo general, no detecta estos ejemplos
(Para obtener más detalles sobre los cálculos para la validación general de campos, consulta aquí)
El uso del campo general perdido ayuda a encontrar ejemplos en el conjunto revisado que deberían tener el campo general seleccionado pero no lo tienen. También ayudará a identificar mensajes parcialmente anotados que pueden ser perjudiciales para la capacidad del modelo para predecir un campo general. Esto mejorará la precisión de un campo general y garantizará que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones.
La plataforma recomienda Campo general perdido cuando:
- Hay alta recuperación, pero baja precisión
- Estamos prediciendo incorrectamente muchos campos generales, pero cuando los predecimos correctamente, captamos muchos de los ejemplos que deberían estar allí
Para obtener más información sobre los cálculos para la validación general de campos, consulta la página Validación de campos generales .
Permisos necesarios: modificar conjuntos de datos.
Utiliza campos generales Regex personalizados para extraer y formatear tramos de texto que tengan una estructura repetitiva conocida, como ID o números de referencia.
Esta es una opción útil para campos generales simples y estructurados con poca variación. En el caso de campos generales con variaciones significativas y donde el contexto tiene una gran influencia en las predicciones, la elección correcta es un campo general basado en aprendizaje automático. Puedes utilizar combinaciones de los dos en cualquier conjunto de datos dentro de Communications Mining.
También se puede utilizar una expresión regular más amplia (es decir, un conjunto de reglas para definir el campo general) como base de un campo general personalizado. Esto combina las reglas con el refinamiento contextual basado en el aprendizaje automático a través del entrenamiento dentro de Communications Mining para crear sofisticados campos generales personalizados. Esto proporciona el rendimiento más óptimo, así como las restricciones necesarias sobre los valores extraídos para la automatización.
Un campo general Regex personalizado se compone de un tipo de campo con el tipo de datos Regex, que a su vez tiene una o más plantillas Regex personalizadas. Cada plantilla expresa una forma de extraer (y formatear) el campo general.
Combinadas, estas plantillas ofrecen una forma flexible y potente de cubrir múltiples representaciones del mismo tipo de campo general.
Una plantilla consta de dos partes:
- La expresión regular (expresión regular), que describe las restricciones que debe cumplir un tramo de texto para extraerlo como campo general.
- El formato, que expresa cómo normalizar la cadena extraída en un formato más estándar.
ID\ d{} mostrará:
La plantilla de expresión regular personalizada puede probarse en texto para garantizar que se comporta como se espera. Cualquier campo general que se extraiga con la plantilla se mostrará en una lista, con su valor, así como la posición de los caracteres de inicio y final.
\d{4} y el formato ID-{$} , la siguiente cadena de prueba mostrará una extracción:
La expresión regular es el patrón utilizado para extraer campos generales en el texto. Consulta la documentación de sintaxis.
Los grupos de captura con nombre pueden utilizarse para identificar una sección específica de la cadena extraída para su posterior formateo. Los nombres de los grupos de captura deben ser únicos en todas las plantillas y solo deben contener letras en minúscula o dígitos.
Se puede proporcionar formato para postprocesar el campo general extraído.
De forma predeterminada, no se aplica ningún formato y la cadena devuelta por la plataforma será la cadena extraída por la expresión regular. Sin embargo, si es necesario, se pueden definir transformaciones más complejas, utilizando las siguientes reglas.
$ . Ten en cuenta que el símbolo $ por sí solo representa la coincidencia completa de expresiones regulares.
{ y } .
ID- , la expresión regular y el formato serían:
ID-1234567& .
| Expresión regular | (?P<id1>\b\d{3}\b)|(?P<id2>\b\d{4}\b) |
| Formatting | {$id1 & "-" & $id2} |
| Texto | El primer ID es 123 y el segundo es 4567 |
| Campo general devuelto por la plataforma | 123-4567 |
Algunas funciones también pueden utilizarse en el formato para transformar la cadena extraída. Los nombres de las funciones y sus firmas están inspirados en Excel.
Convierte todos los caracteres del intervalo extraído a mayúsculas:
| Expresión regular | \w{3} |
| Formatting | {upper($)} |
| Texto | abc |
| Campo general devuelto por la plataforma | ABC |
Convierte todos los caracteres del intervalo extraído a minúsculas:
| Expresión regular | \w{3} |
| Formatting | {lower($)} |
| Texto | AbC |
| Campo general devuelto por la plataforma | abc |
Pone en mayúscula el intervalo extraído:
| Expresión regular | \w+\s\w+ |
| Formatting | {proper($)} |
| Texto | alberto einstein |
| Campo general devuelto por la plataforma | Albert Einstein |
Rellena el intervalo extraído hasta un tamaño determinado con un carácter determinado.
Argumentos de la función:
- El texto que contiene los caracteres que se van a rellenar
- Tamaño de la cadena rellenada
- Carácter que se utilizará para el relleno
| Expresión regular | \d{2,5} |
| Formatting | {pad($, 5, "0")} |
| Texto | 123 |
| Campo general devuelto por la plataforma | 00123 |
Reemplaza los caracteres por otros caracteres.
Argumentos de la función:
- El texto que contiene los caracteres que se van a sustituir
- Qué caracteres reemplazar
- Por qué deben reemplazarse los caracteres antiguos
| Expresión regular | ab |
| Formatting | {substitute($, "a", "12")} |
| Texto | ab |
| Campo general devuelto por la plataforma | 12b |
Devuelve los primeros n caracteres del intervalo.
Argumentos de la función:
- El texto que contiene los caracteres que se van a extraer
- El número de caracteres a devolver
| Expresión regular | \w{4} |
| Formatting | {left($, 2)} |
| Texto | ABCD |
| Campo general devuelto por la plataforma | AB |
Devuelve los últimos n caracteres del intervalo.
Argumentos de la función:
- El texto que contiene los caracteres que se van a extraer
- El número de caracteres a devolver
| Expresión regular | \w{4} |
| Formatting | {right($, 2)} |
| Texto | ABCD |
| Campo general devuelto por la plataforma | CD |
Devuelve n caracteres después de la posición especificada del intervalo.
Argumentos de la función:
- El texto que contiene los caracteres que se van a extraer
- La posición del primer carácter a devolver
- El número de caracteres a devolver
| Expresión regular | \w{5} |
| Formatting | {mid($, 2, 3)} |
| Texto | ABCDE |
| Campo general devuelto por la plataforma | BCD |
- Definir y configurar tus campos
- Comprender los campos generales
- ¿Qué plantillas prediseñadas están disponibles para los campos generales?
- Tipos de campo de plantilla estándar para campos generales
- Habilitar, deshabilitar, actualizar y crear campos generales
- Filtrado general de campos
- Aplicar filtros de predicción avanzados
- Barra de campo general
- Añadir filtro de campo general
- Combinar filtros de barra de campo generales y filtros de campo generales añadidos
- Combinar filtros de campo generales y ordenar por campo general para el entrenamiento
- Revisar y aplicar campos generales
- Identificar predicciones de campo generales
- ¿Cómo hace la plataforma predicciones generales de campo para campos generales entrenables?
- Puntuaciones generales de confianza de campo
- Aceptar y rechazar predicciones generales de campo
- Aplicar campos generales
- Best Practice
- Validación para campos generales
- Introducción
- ¿Cómo funciona la validación general de campos?
- ¿Cómo se calculan las puntuaciones?
- Campos generales entrenables
- Campos generales preentrenados
- ¿Qué significan las estadísticas de resumen?
- Métricas
- Comprender el rendimiento general de los campos
- Rendimiento de campo general individual
- Mejorar el rendimiento general del campo
- Información general
- Acciones recomendadas en el campo general
- Modos generales de entrenamiento de campo
- Uso del campo Enseñar general
- Uso de Comprobar campos generales
- Uso del campo general perdido
- Crear campos generales personalizados de expresiones regulares
- ¿Qué son los campos generales personalizados de Regex?
- Plantilla de expresión regular personalizada
- Validación de escritura anticipada
- Vista previa de extracción
- Expresión regular
- Formatting
- Variables
- Operaciones de cadena
- Funciones
- Superior
- Inferior
- Correcto
- Almohadilla
- Sustituir
- Left
- Derecha
- Medio
