Mantener un modelo en producción

¿Por qué es importante el mantenimiento del modelo?

Crear un modelo que sea apto para implementarse en un entorno de producción requiere una inversión de tiempo que se amortiza rápidamente con el valor de los análisis continuos y los ahorros de eficiencia a través de la automatización.

Si un modelo no se mantiene de forma eficaz a largo plazo, los beneficios proporcionados por el modelo pueden desaparecer con el tiempo, ya que el rendimiento del modelo puede disminuir potencialmente sin una pequeña cantidad de entrenamiento adicional.

Esto se debe a la ' desviación de conceptos', que se refiere a la situación en la que los conceptos que un modelo intenta predecir pueden cambiar de forma imprevista con el tiempo, haciendo que las predicciones sean cada vez menos precisas.

Esto se relaciona esencialmente con la forma en que, con el tiempo, pueden cambiar las cosas en una empresa y la forma en que se comunica internamente, con otras empresas y con sus clientes. Si los datos de entrenamiento de tu modelo ya no son representativos de la forma en que opera tu empresa hoy en día, su rendimiento será peor al intentar identificar conceptos dentro de tus datos de comunicaciones.

Por lo tanto, es importante que cualquier modelo que se utilice en un entorno de producción se mantenga de forma efectiva para garantizar un alto rendimiento continuo.

¿Cómo se mantiene un modelo en producción?

Mantener un modelo de producción es un proceso sencillo y de bajo esfuerzo. La mayor parte del esfuerzo necesario ya se ha realizado para crear los datos de entrenamiento para tu modelo antes de implementarlo.

Hay dos enfoques principales para mantener un modelo, y ambos garantizan que tu modelo cuente con ejemplos de entrenamiento útiles y representativos adicionales:

1. Entrenamiento de excepción
2. Uso del modo "Reequilibrar"

1. Entrenamiento de excepciones

Cualquier modelo utilizado con fines de automatización debe tener un proceso de excepción que identifique qué mensajes eran excepciones que la plataforma no pudo identificar con confianza o correctamente (consulta aquí para más detalles).

Esto es importante, ya que esencialmente te permite encontrar y anotar rápidamente los mensajes con los que la plataforma tuvo problemas, lo que mejora la capacidad del modelo para predecir futuros mensajes similares.

Normalmente, un proceso de automatización se configurará para marcar automáticamente los mensajes con una propiedad de usuario que lo identifique como una excepción. A continuación, puedes filtrar en Explorar esos mensajes y anotarlos con las etiquetas correctas, para garantizar que la plataforma pueda identificar con confianza y correctamente mensajes similares en el futuro.

Esto debería formar parte de un proceso regular que tenga como objetivo mejorar el modelo de forma constante. Cuantas más excepciones se capturen y anoten, mejor funcionará un modelo con el tiempo, minimizando el número de excepciones futuras y maximizando los ahorros de eficiencia que permite un modelo centrado en la automatización.

2. Uso del modo Equilibrar y 'Reequilibrar'

La calificación 'Equilibrio ' de tu modelo es un componente de su Calificación de modelo. Esto es un reflejo de cuán similares, es decir, representativos, son los datos de entrenamiento de tu modelo con el conjunto de datos en su conjunto.

En teoría, si los datos más recientes que se añaden a un conjunto de datos a lo largo del tiempo son significativamente diferentes de los datos más antiguos que se utilizaron para entrenar el modelo, esto provocaría una caída en la puntuación de similitud que determina la calificación de Equilibrio de tu modelo.

Al realizar el entrenamiento de excepciones, es importante comprobar si la puntuación de similitud del modelo disminuye. Si es así, esto debe abordarse, ya que podría ser una indicación de la desviación del concepto y significará que el rendimiento en la producción finalmente caerá.

La forma más sencilla de corregir una caída en la puntuación de similitud es completar un entrenamiento utilizando el modo "Reequilibrar".

Para asegurarte de entrenar los datos más recientes que sean representativos del tipo de comunicaciones que se reciben hoy, también puedes añadir un filtro de marca de tiempo mientras entrenas en "Reequilibrar", ya sea a los últimos 3 o 6 meses. Esto garantiza que tu modelo no se base únicamente en datos de entrenamiento que sean antiguos y que no reflejen ningún cambio en tu negocio.