Cuándo dejar de entrenar tu modelo

Con las capacidades de validación completas de la plataforma, incluida la funcionalidad de clasificación de modelos , ahora es relativamente sencillo comprender cuándo dejar de entrenar tu modelo.

El nivel de rendimiento requerido para tu modelo dependerá de ti y de tu negocio, pero la Calificación del modelo de la plataforma te da una gran idea de dónde está tu modelo en cuanto a rendimiento y cómo mejorarlo si es necesario.

Un modelo con una puntuación de 70 o superior se clasifica como Bueno, mientras que se requiere una puntuación de 90 para que un modelo se clasifique como Excelente.

Cualquiera que sea el caso de uso, se recomienda asegurarse de aplicar lo siguiente antes de detener el entrenamiento:

• Que tu modelo tenga al menos una puntuación general que proporcione una calificación de Bueno , ya que esto significa que la plataforma considera que el modelo es relativamente saludable en general.
• Que cada uno de los factores individuales también tenga una calificación de al menos Bueno.
• Que ninguna de tus etiquetas importantes tenga advertencias de rendimiento rojas o ámbar.

Para un modelo centrado en el análisis, más allá de los factores enumerados anteriormente, debe quedar a discreción del entrenador del modelo cuánto desea optimizar el rendimiento de su modelo. El requisito de rendimiento puede depender de una variedad de factores, incluidos los objetivos del caso de uso y la capacidad del entrenador del modelo para continuar el entrenamiento.

Si estás creando un modelo destinado a habilitar automatizaciones, se recomienda que tu modelo tenga una calificación Excelente , y también que el modelo se pruebe en datos en vivo antes de implementarse en producción.

Comprobaciones de rendimiento opcionales adicionales

Aunque la clasificación del modelo es una evaluación del rendimiento completa, es posible que desees completar algunas comprobaciones adicionales para asegurarte de que te sientes completamente cómodo con el rendimiento de tu modelo.

Si este es el caso, aquí hay algunas comprobaciones útiles que puedes hacer con las acciones recomendadas. Vale la pena señalar que si la plataforma cree que es importante que realices alguna de estas acciones, también las recomendará en Validación.

Comprobar	Proceso	Acciones a realizar
La revisión de la predicción del período de dos días	Revise las predicciones en 1-2 días de datos recientes: use el filtro de tiempo y 'reciente' en el menú desplegable para elegir 2 días recientes de datos. Revisa las predicciones y asegúrate de que cada mensaje tenga una predicción de confianza razonablemente alta. Al revisar las predicciones de datos de 1 a 2 días, debería asegurarse de que se cubran todos los conceptos potenciales	• Si hay mensajes sin predicciones o con confianza insuficiente, anótelos como de costumbre • A continuación, entrene más en Aleatorio y Baja confianza
Orden aleatorio	Revise las predicciones en Aleatorio durante al menos 5 páginas. Cada mensaje debe tener una etiqueta predicha con una confianza razonablemente alta	• Si hay mensajes sin predicciones o con confianza insuficiente, anótelos como de costumbre • A continuación, entrene más en Aleatorio y Baja confianza
Confianza baja	El modo de confianza baja te muestra los mensajes que no están bien cubiertos por las predicciones de etiquetas informativas. Estos mensajes no tendrán predicciones o tendrán predicciones de muy baja confianza para las etiquetas que la plataforma entiende que son informativas.	• Si hay mensajes que no se han cubierto, añada una nueva etiqueta para ellos y entrene de forma normal • Cuando encuentres un mensaje para una etiqueta existente, aplícalo como de costumbre
Redescubrir	Volver a Descubrir puede mostrarte nuevos clústeres potenciales en los que la probabilidad de que se aplique cualquier etiqueta es baja. Esto debe utilizarse para garantizar que no se ha perdido ninguna etiqueta potencial o para proporcionar etiquetas existentes con ejemplos más variados, de forma similar a Confianza baja.	• Si hay clústeres sin predicciones (o muy bajas), anote el clúster con una nueva etiqueta o una existente, si corresponde • Entrena cualquier etiqueta nueva como de costumbre

Redescubrir

Volver a descubrir es un paso que puede revisarse en cualquier momento durante el proceso de entrenamiento, pero que también puede ser útil al comprobar si has completado el entrenamiento suficiente.

Básicamente, esta comprobación solo implica volver a la página Descubrir en modo Clúster y revisar los clústeres allí para comprobar sus predicciones y ver si Descubrir ha encontrado algún clúster que tu entrenamiento pueda haber pasado por alto.

Como los clústeres en Descubrir se vuelven a entrenar después de que se haya completado una cantidad significativa de entrenamiento en la plataforma (180 anotaciones) o se haya añadido una cantidad significativa de datos al conjunto de datos (1000 mensajes o 1 %, lo que sea mayor, y al menos 1 anotación ), deben actualizarse periódicamente a lo largo del proceso de entrenamiento.

Descubrir intenta encontrar clústeres que no estén bien cubiertos por las predicciones de etiquetas. Si hay clústeres en Descubrir que deberían tener ciertas etiquetas previstas pero no las tienen, debes hacer un poco más de entrenamiento para esas etiquetas. Para obtener más información sobre cómo anotar clústeres en Descubrir, consulta Entrenamiento mediante clústeres.

Si tu modelo está bien entrenado, Discover tendrá dificultades para encontrar clústeres con poca confianza o sin predicciones. Si observas que cada uno de los clústeres en Descubrir tiene predicciones razonablemente altas y correctas, este es un buen indicador de que tu modelo cubre bien el conjunto de datos.