Entrenamiento utilizando la etiqueta Comprobar y la etiqueta Perdida

Nota: debes tener asignados los permisos Origen - Leer y Conjunto de datos - Revisar como usuario de Automation Cloud, o los permisos Ver orígenes y Revisar y anotar como usuario heredado.

Nota: Anteriormente, la función Enseñar , cuando se filtraba a los mensajes revisados, mostraba los mensajes en los que la plataforma pensaba que la etiqueta seleccionada podía haberse aplicado incorrectamente o haberse omitido. Comprobar etiqueta y Etiqueta perdida las divide en dos vistas independientes, con Comprobar etiqueta que muestra los mensajes con la etiqueta potencialmente mal aplicada, y Etiqueta perdida que muestra los mensajes en los que puede faltar la etiqueta seleccionada.

Introducción

El uso de los modos de entrenamiento Comprobar etiqueta y Etiqueta perdida es la parte de la fase Refinar en la que se intenta identificar cualquier incoherencia o etiquetas perdidas en los mensajes que ya se han revisado. Esto es diferente al paso Enseñar etiqueta , que se centra en los mensajes no revisados que tienen predicciones realizadas por la plataforma, en lugar de etiquetas asignadas.

Comprobar etiqueta muestra los mensajes en los que la plataforma cree que la etiqueta seleccionada puede haberse aplicado incorrectamente, es decir, que potencialmente no debería haberse aplicado.

Etiqueta perdida muestra los mensajes en los que la plataforma cree que puede faltar la etiqueta seleccionada, es decir, que potencialmente debería haberse aplicado pero no se aplicó. En este caso, la etiqueta seleccionada normalmente aparecerá como una sugerencia, como se muestra en la siguiente imagen.

Las sugerencias de la plataforma en cualquiera de los modos no son necesariamente correctas, estos son solo los casos en los que la plataforma no está segura en función del entrenamiento que se ha completado hasta el momento. Puedes optar por ignorarlas si no estás de acuerdo con las sugerencias de la plataforma después de revisarlas.

El uso de estos modos de entrenamiento es una forma muy eficaz de encontrar ocurrencias en las que el usuario puede no haber sido coherente al aplicar etiquetas. Al utilizarlos, puede corregir estas ocasiones y, por lo tanto, mejorar el rendimiento de la etiqueta.

Cuándo utilizar Comprobar etiqueta y Etiqueta perdida

The simplest answer of when to use either training mode is when they are one of the recommended actions in the Model Rating section or specific label view in the Validation page. For more details, check Understanding and improving model performance.

Como regla general, cualquier etiqueta que tenga un número significativo de ejemplos anclados pero que tenga una precisión media baja, lo que puede indicarse mediante advertencias de etiqueta roja en la página Validación o en las barras de filtro de etiquetas, probablemente se beneficiará de algún entrenamiento correctivo en Comprobar etiqueta y modo de etiqueta perdida .

Al validar el rendimiento de un modelo, la plataforma determinará si cree que una etiqueta se ha aplicado de forma incorrecta a menudo, o si cree que se ha pasado por alto con regularidad, y priorizará la acción correctiva que considere más beneficiosa para mejorar el rendimiento de una etiqueta.

Missed label is also a very useful tool if you have added a new label to an existing taxonomy with lots of reviewed examples. Once you've provided some initial examples for the new label concept, Missed label can quickly help you identify any examples in the previously reviewed messages where it should also apply. For more details, check Adding new labels to existing taxonomies.

Uso de Comprobar etiqueta y Etiqueta perdida

Para llegar a cualquiera de estos modos de entrenamiento, existen las siguientes opciones principales:

1. If it is a recommended action in Validation for a label, the action card acts as a link that takes you directly to that training mode for the selected label.

2. Como alternativa, puedes seleccionar cualquier modo de entrenamiento en el menú desplegable de la parte superior de la página en Explorar y, a continuación, seleccionar una etiqueta por la que ordenar. Puedes encontrar un ejemplo en la imagen anterior.

Nota: Primero debes seleccionar una etiqueta antes de que aparezca Comprobar etiqueta o Etiqueta perdida en el menú desplegable. Ambos modos también deshabilitan la capacidad de filtrar entre mensajes revisados y no revisados, ya que son exclusivamente para mensajes revisados.

En cada modo, la plataforma te mostrará hasta 20 ejemplos por página de mensajes revisados en los que cree que la etiqueta seleccionada puede haberse aplicado incorrectamente, Comprobar etiqueta, o puede faltar la etiqueta seleccionada, Etiqueta perdida.

Comprobar etiqueta

En Comprobar etiqueta, revisa cada uno de los ejemplos de la página para confirmar que son ejemplos reales de la etiqueta seleccionada. Si es así, continúa sin realizar ninguna acción. Si no lo están, elimina la etiqueta seleccionando el botón X al pasar el ratón por encima y asegúrate de aplicar las etiquetas correctas en su lugar.

Nota: Revisa tantas páginas de mensajes revisados como sea necesario para identificar cualquier incoherencia en el conjunto revisado y mejorar la comprensión de la etiqueta por parte del modelo.

Corregir las etiquetas añadidas por error puede tener un gran impacto en el rendimiento de una etiqueta, al garantizar que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones para esa etiqueta.

Etiqueta perdida

En Etiqueta perdida, revisa cada uno de los ejemplos de la página para ver si la etiqueta seleccionada se ha perdido. Si es así, selecciona la sugerencia de etiqueta, como se muestra en la imagen anterior, para aplicar la etiqueta. Si no es así, ignora la sugerencia y continúa.

El hecho de que la plataforma sugiera una etiqueta en un mensaje revisado no significa que el modelo lo considere una predicción, ni contará para ninguna estadística sobre el número de etiquetas en un conjunto de datos. Si una sugerencia es incorrecta, puedes ignorarla.

Nota: Revisa tantas páginas de mensajes revisados como sea necesario para identificar cualquier ejemplo en el conjunto revisado que deba tener la etiqueta seleccionada pero no la tenga.

Los mensajes parcialmente anotados pueden ser muy perjudiciales para la capacidad del modelo de predecir una etiqueta, ya que cuando no se aplica una etiqueta a un mensaje, básicamente se le dice al modelo que este no es un ejemplo de este concepto de etiqueta. Si de hecho es un ejemplo correcto, esto puede ser muy confuso para el modelo, particularmente si hay otros ejemplos muy similares que tienen la etiqueta aplicada.

Por lo tanto, añadir etiquetas que se han perdido puede tener un gran impacto en el rendimiento de una etiqueta, al garantizar que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones para esa etiqueta.

Nota: Una vez que el modelo haya tenido tiempo de volver a entrenarse después de tu entrenamiento correctivo en estos modos, puedes volver a comprobar en Validación para ver el impacto positivo que tus acciones han tenido en la clasificación del modelo y el rendimiento de las etiquetas específicas que has entrenado.