Entrenamiento utilizando 'Comprobar etiqueta' y 'Etiqueta perdida'

Permisos de usuario necesarios: 'Ver fuentes' Y 'Revisar y etiquetar'.

Nota:

Anteriormente, la función 'Enseñar ', cuando se filtraba a los mensajes revisados, mostraba los mensajes en los que la plataforma pensaba que la etiqueta seleccionada podía haberse aplicado incorrectamente o haberse perdido. 'Comprobar etiqueta ' y 'Etiqueta perdida ' los dividen en dos vistas separadas, con 'Comprobar etiqueta' mostrando los mensajes con la etiqueta potencialmente mal aplicada, y 'Etiqueta perdida' mostrando los mensajes a los que les puede faltar la etiqueta seleccionada.

Introducción al uso de 'Comprobar etiqueta' y 'Etiqueta perdida'

El uso de los modos de entrenamiento 'Comprobar etiqueta ' y 'Etiqueta perdida ' es la parte de la fase de perfeccionamiento en la que se intenta identificar cualquier incoherencia o etiquetas perdidas en los mensajes que ya se han revisado. Esto es diferente al paso "Enseñar etiqueta", que se centra en los mensajes no revisados que tienen predicciones hechas por la plataforma, en lugar de etiquetas asignadas.

'Comprobar etiqueta' muestra los mensajes en los que la plataforma cree que la etiqueta seleccionada puede haberse aplicado incorrectamente, es decir, potencialmente no debería haberse aplicado.

Modo "Comprobar etiqueta" con la etiqueta "Reclamación > Motivo de la pérdida > Incendio" seleccionada

"Etiqueta perdida" muestra los mensajes a los que la plataforma cree que les puede faltar la etiqueta seleccionada, es decir, podría haberse aplicado pero no se ha aplicado. Aquí, la etiqueta seleccionada aparecerá normalmente como una sugerencia, como se muestra en la siguiente imagen.

Modo "Etiqueta perdida" con la etiqueta "Pago > Error" seleccionada

Las sugerencias de la plataforma en cualquiera de los modos no son necesariamente correctas, estos son solo los casos en los que la plataforma no está segura en función del entrenamiento que se ha completado hasta el momento. Puedes optar por ignorarlas si no estás de acuerdo con las sugerencias de la plataforma después de revisarlas.

El uso de estos modos de entrenamiento es una forma muy eficaz de encontrar ocurrencias en las que el usuario puede no haber sido coherente al aplicar etiquetas. Al utilizarlos, puede corregir estas ocasiones y, por lo tanto, mejorar el rendimiento de la etiqueta.

¿Cuándo usar 'Comprobar etiqueta' y 'Etiqueta perdida'?

La respuesta más sencilla a cuándo utilizar cualquiera de los modos de entrenamiento es cuando se trata de una de las 'Acciones recomendadas ' en la sección Calificación del modelo o una vista de etiqueta específica en la página Validación (consulta aquí).

Como regla general, cualquier etiqueta que tenga un número significativo de ejemplos anclados pero que tenga una precisión media baja (lo que puede indicarse mediante advertencias de etiqueta roja en la página de Validación o en las barras de filtro de etiquetas) probablemente se beneficiará de algún entrenamiento correctivo en Modo 'Comprobar etiqueta ' y 'Etiqueta perdida '.

Al validar el rendimiento de un modelo, la plataforma determinará si cree que una etiqueta se ha aplicado de forma incorrecta a menudo, o si cree que se ha pasado por alto con regularidad , y dará prioridad a la acción correctiva que considere más beneficiosa para mejorar el rendimiento de una etiqueta.

"Etiqueta perdida" también es una herramienta muy útil si has añadido una nueva etiqueta a una taxonomía existente con muchos ejemplos revisados. Una vez que hayas proporcionado algunos ejemplos iniciales para el nuevo concepto de etiqueta, "Etiqueta perdida" puede ayudarte a identificar rápidamente cualquier ejemplo en los mensajes revisados anteriormente donde también debería aplicarse. Consulta aquí para obtener más detalles.

Cómo utilizar 'Comprobar etiqueta' y 'Etiqueta perdida':

Para llegar a cualquiera de estos modos de entrenamiento, hay dos opciones principales:

1. Si se trata de una acción recomendada en Validación para una etiqueta, la tarjeta de acción actúa como un enlace que te lleva directamente a ese modo de entrenamiento para la etiqueta seleccionada

2. Alternativamente, puedes seleccionar cualquiera de los modos de entrenamiento en el menú desplegable de la parte superior de la página en Explorar, y luego seleccionar una etiqueta para ordenar (consulta la imagen de arriba, por ejemplo)

Ten en cuenta: primero debes seleccionar una etiqueta antes de que aparezca "Comprobar etiqueta" o "Etiqueta perdida" en el menú desplegable. Ambos modos también deshabilitan la capacidad de filtrar entre mensajes revisados y no revisados , ya que son exclusivamente para mensajes revisados)

En cada modo, la plataforma te mostrará hasta 20 ejemplos por página de mensajes revisados en los que cree que la etiqueta seleccionada puede haberse aplicado incorrectamente ("Comprobar etiqueta") o puede faltar la etiqueta seleccionada ("Etiqueta perdida").

'Comprobar etiqueta'

En "Comprobar etiqueta", revisa cada uno de los ejemplos de la página para confirmar que son ejemplos auténticos de la etiqueta seleccionada. Si es así, continúa sin realizar ninguna acción. Si no lo están, elimina la etiqueta (haciendo clic en la 'X' al pasar el ratón por encima) y asegúrate de aplicar las etiquetas correctas en su lugar.

Revisa tantas páginas de mensajes revisados como sea necesario para identificar cualquier incoherencia en el conjunto revisado y mejorar la comprensión de la etiqueta por parte del modelo. La corrección de etiquetas añadidas por error puede tener un gran impacto en el rendimiento de una etiqueta, al garantizar que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones para esa etiqueta.

"Etiqueta perdida"

En "Etiqueta perdida", revisa cada uno de los ejemplos de la página para ver si la etiqueta seleccionada se ha perdido. Si es así, haz clic en la sugerencia de etiqueta (como se muestra en la imagen anterior) para aplicar la etiqueta. Si no es así, ignora la sugerencia y continúa.

El hecho de que la plataforma "sugiera" una etiqueta en un mensaje revisado no significa que el modelo lo considere una predicción, ni contará para ninguna estadística sobre el número de etiquetas en un conjunto de datos. Si una sugerencia es incorrecta, puedes ignorarla.

Revisa tantas páginas de mensajes revisados como sea necesario para identificar cualquier ejemplo en el conjunto revisado que deba tener la etiqueta seleccionada pero no la tenga. Los mensajes parcialmente etiquetados pueden ser muy perjudiciales para la capacidad del modelo de predecir una etiqueta, ya que cuando no se aplica una etiqueta a un mensaje, básicamente se le dice al modelo "este no es un ejemplo de este concepto de etiqueta". Si de hecho es un ejemplo correcto, esto puede ser muy confuso para el modelo, especialmente si hay otros ejemplos muy similares que SÍ tienen la etiqueta aplicada.

Por lo tanto, añadir etiquetas que se han perdido puede tener un gran impacto en el rendimiento de una etiqueta, al garantizar que el modelo tenga ejemplos correctos y coherentes a partir de los cuales hacer predicciones para esa etiqueta.

Una vez que el modelo haya tenido tiempo de volver a entrenarse después de tu entrenamiento correctivo en estos modos, puedes volver a comprobar en Validación para ver el impacto positivo que tus acciones han tenido en la Calificación del modelo y el rendimiento de las etiquetas específicas que has entrenado.