Cuándo dejar de entrenar tu modelo

Con las completas capacidades de validación de la plataforma, incluida la funcionalidad de clasificación de modelos , entender cuándo dejar de entrenar tu modelo es ahora relativamente sencillo.

El nivel de rendimiento requerido para tu modelo dependerá de ti y de tu negocio, pero la Calificación del modelo de la plataforma te da una gran idea de dónde está tu modelo en cuanto a rendimiento y cómo mejorarlo si es necesario.

Un modelo con una puntuación de 70 o superior se clasifica como "Bueno ", mientras que se requiere una puntuación de 90 para que un modelo se clasifique como "Excelente ".

Cualquiera que sea el caso de uso,siempre recomendamos asegurarse de lo siguiente antes de detener el entrenamiento:

• Que su modelo tenga al menos una puntuación general que proporcione una calificación de "Bueno", ya que esto significa que la plataforma considera que el modelo es relativamente saludable en general
• Que cada uno de los factores individuales también tenga una calificación de al menos 'Bueno ' (como se muestra a continuación)

• Que ninguna de sus etiquetas importantes tengaadvertencias de rendimiento rojas o ámbar

Para un modelo centrado en el análisis , más allá de los factores enumerados anteriormente, debe quedar a discreción del entrenador del modelo cuánto desea optimizar el rendimiento de su modelo. El requisito de rendimiento puede depender de una variedad de factores, incluidos los objetivos del caso de uso y la capacidad del entrenador de modelos para continuar con el entrenamiento.

Si estás creando un modelo destinado a habilitar automatizaciones, se recomienda que tu modelo tenga una calificación de 'Excelente ' , y también que el modelo se pruebe en datos en vivo antes de implementarse en producción.

Ejemplo de calificación de modelo para un modelo extremadamente saludable

Comprobaciones de rendimiento opcionales adicionales

Aunque la Calificación del modelo es una evaluación exhaustiva del rendimiento, es posible que desees realizar algunas comprobaciones adicionales para asegurarte de que te sientes completamente cómodo con el rendimiento de tu modelo.

Si este es el caso, aquí hay algunas comprobaciones útiles que puedes hacer con las acciones recomendadas. Vale la pena señalar que si la plataforma cree que es importante que realices alguna de estas acciones, también las recomendará en Validación.

Comprobar	Proceso	Acciones a realizar
Revisión de la predicción del período de 2 días	Revise las predicciones en 1-2 días de datos recientes: use el filtro de tiempo y 'reciente' en el menú desplegable para elegir 2 días recientes de datos. Revisa las predicciones y asegúrate de que cada mensaje tenga una predicción de confianza razonablemente alta. Al revisar las predicciones de datos de 1 a 2 días, debería asegurarse de que se cubran todos los conceptos potenciales	• Si hay mensajes sin predicciones o con confianza insuficiente, anótelos como de costumbre • A continuación, entrene más en Aleatorio y Baja confianza
Orden aleatorio	Revise las predicciones en Shuffle durante al menos 5 páginas. Cada mensaje debe tener una etiqueta predicha con una confianza razonablemente alta	• Si hay mensajes sin predicciones o con confianza insuficiente, anótelos como de costumbre • A continuación, entrene más en Aleatorio y Baja confianza
Confianza baja	El modo de confianza baja te muestra los mensajes que no están bien cubiertos por las predicciones de etiquetas informativas. Estos mensajes no tendrán predicciones o tendrán predicciones de muy baja confianza para las etiquetas que la plataforma entiende como informativas.	• Si hay mensajes que no se han cubierto, añada una nueva etiqueta para ellos y entrene de forma normal • Cuando encuentres un mensaje para una etiqueta existente, aplícalo como de costumbre
'Volver a descubrir'(ver más abajo)	Volver a Descubrir puede mostrarte nuevos clústeres potenciales en los que la probabilidad de que se aplique cualquier etiqueta es baja. Esto debe utilizarse para garantizar que no se ha perdido ninguna etiqueta potencial o para proporcionar etiquetas existentes con ejemplos más variados, de forma similar a Confianza baja	• Si hay clústeres sin predicciones (o muy bajas), anote el clúster con una nueva etiqueta o una existente, si corresponde • Entrena cualquier etiqueta nueva como de costumbre

"Volver a descubrir"

"Volver a descubrir" es un paso que puede revisarse en cualquier momento durante el proceso de entrenamiento, pero también puede ser útil al comprobar si has completado suficiente entrenamiento.

Básicamente, esta comprobación solo implica volver a la página Descubrir en el modo 'Clúster' y revisar los clústeres allí para comprobar sus predicciones y ver si Descubrir ha encontrado algún clúster que se haya perdido en tu entrenamiento.

Como los clústeres en Discover se vuelven a entrenar después de que se haya completado una cantidad significativa de entrenamiento en la plataforma (180 anotaciones) o se haya añadido una cantidad significativa de datos al conjunto de datos (1000 mensajes o 1 %, lo que sea mayor, y al menos 1 anotación ), deben actualizarse periódicamente a lo largo del proceso de entrenamiento.

Descubrir intenta encontrar clústeres que no estén bien cubiertos por las predicciones de etiquetas. Si hay clústeres en Descubrir que deberían tener ciertas etiquetas predichas pero no las tienen, sabrás que debes hacer un poco más de entrenamiento para esas etiquetas. Consulta aquí cómo anotar clústeres en Discover.

Si tu modelo está bien entrenado, Discover tendrá dificultades para encontrar clústeres con poca confianza o sin predicciones. Si ves que cada uno de los clústeres en Discover tiene predicciones razonablemente altas y correctas, es un buen indicador de que tu modelo cubre bien el conjunto de datos.