Maintenir un modèle en production

Pourquoi la maintenance du modèle est-elle importante ?

La création d'un modèle adapté à être déployé dans un environnement de production nécessite un investissement de temps qui est rapidement remboursé par la valeur des analyses en cours et des économies d'efficacité grâce à l'automatisation.

Si un modèle n'est pas maintenu efficacement sur le long terme, les avantages fournis par le modèle peuvent être effaces au fil du temps car les performances du modèle peuvent potentiellement diminuer sans une petite quantité d'entraînement supplémentaire.

Cela est dû à la «dérive de concept», qui fait référence à la situation où les concepts qu'un modèle essaie de prédire peuvent changer de manière imprévue au fil du temps, ce qui rend les prédictions de moins en moins précises.

Cela est essentiellement lié à la façon dont, avec le temps, les choses peuvent changer dans une entreprise et à la façon dont elle communique en interne, avec d'autres entreprises et avec ses clients. Si les données d'entraînement de votre modèle ne sont plus représentatives de la façon dont votre entreprise fonctionne actuellement, leurs performances seront plus nulles lors de la tentative d'identification de concepts dans vos données de communication.

Il est donc important pour tout modèle utilisé dans un environnement de production qu'il soit efficacement maintenu pour garantir des performances élevées continues.

Comment maintenir un modèle en production ?

La maintenance d'un modèle de production est un processus simple et nécessitant peu d'efforts. La majorité de l’effort requis a déjà été consacré à la création des données d’entraînement de votre modèle avant son déploiement.

Il existe deux approches principales pour maintenir un modèle, qui garantissent toutes deux que votre modèle dispose d'exemples d'entraînement supplémentaires utiles et représentatifs :

1. Exception d'apprentissage
2. Utilisation du mode « Rééquilibrer »

1. Entraînement des exceptions

Tout modèle utilisé à des fins d'automatisation doit avoir un processus d'exception en place qui identifie les messages correspondant aux exceptions que la plate-forme n'a pas pu identifier de manière fiable ou correcte (voir ici pour plus de détails).

Ceci est important car cela vous permet essentiellement de trouver et d'annoter rapidement les messages avec lesquels la plate-forme a lutté, ce qui améliore la capacité du modèle à prédire les futurs messages similaires.

En règle générale, un processus d'automatisation sera configuré pour signaler automatiquement les messages avec une propriété utilisateur qui les identifie comme une exception. Vous pouvez ensuite filtrer dans Explorer vers ces messages et les annoter avec les libellés corrects, pour vous assurer que la plate-forme peut identifier en toute confiance et correctement les messages similaires à l'avenir.

Cela doit faire partie d'un processus régulier qui vise à améliorer constamment le modèle. Plus les exceptions sont capturées et annotées, plus un modèle fonctionnera au fil du temps, en minimisant le nombre d'exceptions futures et en maximisant les gains d'efficacité que permet un modèle centré sur l'automatisation.

2. Utilisation du mode Équilibrer et « Rééquilibrer »

La note «Équilibre » de votre modèle fait partie de sa notation de modèle. Cela reflète la similarité, c'est-à-dire la représentation, des données d'entraînement de votre modèle par rapport à l'ensemble de données dans son ensemble.

En bibliothèque, si les données les plus récentes ajoutées à un ensemble de données au fil du temps sont considérablement différentes des données plus anciennes utilisées pour entraîner le modèle, cela entraînerait une baisse du score de similarité qui détermine la note d'équilibre de votre modèle.

Lors de l'entraînement des exceptions, il est important de vérifier si le score de similarité du modèle diminue. Si c'est le cas, cela doit être résolu car cela pourrait être une indication de la dérive du concept et signifiera que les performances de production échoueront.

Le moyen le plus simple de corriger une baisse du score de similarité consiste à effectuer un entraînement en utilisant le mode « Rééquilibrer ».

Pour vous assurer que vous entraînez les données les plus récentes représentatives du type de communications reçues aujourd'hui, vous pouvez également ajouter un filtre d'horodatage lors de l'entraînement dans « Rééquilibrer », les 3 ou 6 derniers mois. Cela garantit que votre modèle ne repose pas uniquement sur des données d'entraînement obsolètes et susceptibles de ne refléter aucun changement dans votre entreprise.