Maintenir un modèle en production

L’importance de la maintenance du modèle

La création d’un modèle approprié pour être déployé dans un environnement de production nécessite un investissement de temps qui est rapidement remboursé par la valeur des analyses en continu et des économies d’efficacité grâce à l’automatisation.

Si vous ne maintenez pas efficacement un modèle au fil du temps, ses avantages peuvent diminuer, car les performances du modèle pourraient diminuer sans entraînement supplémentaire périodique.

Cela est dû à la dérive du concept, qui fait référence à la situation dans laquelle les concepts qu'un modèle essaie de prédire peuvent changer de manière imprévue au fil du temps, ce qui rend les prédictions moins et moins précises.

Cela concerne essentiellement la façon dont les choses peuvent changer dans une entreprise, au fil du temps, et la façon dont elle communique en interne, avec les autres entreprises et avec ses clients. Si les données d’entraînement de votre modèle ne sont plus représentatives du fonctionnement actuel de votre entreprise, leurs performances seront pires lorsque vous tenterez d’identifier des concepts dans vos données de communication.

Remarque : assurez-vous de gérer efficacement tous les modèles utilisés dans un environnement de production pour garantir des performances élevées.

Maintenir un modèle en production

La gestion d’un modèle de production est un processus simple et rapide. La majorité des efforts requis ont déjà été déployés pour créer les données d’entraînement de votre modèle avant son déploiement.

Il existe deux approches principales pour maintenir un modèle, qui garantissent toutes deux que votre modèle dispose d'exemples d'entraînement supplémentaires utiles et représentatifs :

1. Exception d'apprentissage
2. Utilisation du mode Rééquilibrer

1. Entraînement des exceptions

Tout modèle utilisé à des fins d'automatisation doit posséder un processus d'exception en place pour identifier les messages que la plate-forme n'a pas pu identifier de manière fiable ou correcte. Pour plus de détails, consultez la section Automatisation en temps réel.

Ceci est important car cela vous permet essentiellement de trouver et d'annoter rapidement les messages avec lesquels la plate-forme a lutté, ce qui améliore la capacité du modèle à prédire les futurs messages similaires.

Un processus d’automatisation sera configuré pour marquer automatiquement les messages avec une propriété utilisateur qui l’identifie comme une exception. Vous pouvez ensuite filtrer ces messages dans Explorer et les annoter avec les libellés appropriés, afin de vous assurer que la plate-forme puisse identifier correctement et en toute confiance les messages similaires à l’avenir.

Cela doit faire partie d'un processus régulier qui vise à améliorer constamment le modèle. Plus les exceptions sont capturées et annotées, plus un modèle fonctionnera au fil du temps, en minimisant le nombre d'exceptions futures et en maximisant les gains d'efficacité que permet un modèle centré sur l'automatisation.

2. Utilisation du mode Équilibre et rééquilibrage

La notation d'équilibre de votre modèle fait partie de sa notation de modèle. Cela reflète la similarité, c'est-à-dire que les données de rejet de votre modèle sont représentatives de l'ensemble de données.

En bibliothèque, si les données les plus récentes ajoutées à un ensemble de données au fil du temps sont considérablement différentes des données plus anciennes utilisées pour entraîner le modèle, cela entraînerait une baisse du score de similarité qui détermine la note d' équilibrage de votre modèle.

Lors de l'entraînement d'exceptions, il est important de vérifier si le score de similarité du modèle diminue. Si c'est le cas, il convient d'y remédier, car cela pourrait être une indication de la dérive du concept et cela signifiera que les performances en production diminueront.

Le moyen le plus simple de corriger une baisse du score de similarité consiste à effectuer un entraînement à l'aide du mode Rééquilibrage .

Pour vous assurer d'entraîner les données les plus récentes représentatives du type de communications reçues aujourd'hui, vous pouvez également ajouter un filtre d'horodatage lors de l'entraînement dans Rééquilibrage, soit sur les 3, soit sur les 6 derniers mois. Cela garantit que votre modèle ne s'appuie pas uniquement sur des données d'entraînement obsolètes et qu'elles peuvent ne refléter aucun changement dans votre entreprise.