Verwalten eines Modells in der Produktion

Die Bedeutung der Modellwartung

Das Erstellen eines geeigneten Modells für die Bereitstellung in einer Produktionsumgebung erfordert einen Zeitaufwand, der durch den Wert laufender Analysen und Effizienzeinsparungen durch Automatisierung schnell amortisiert wird.

Wenn Sie ein Modell im Laufe der Zeit nicht effektiv warten, können seine Vorteile verschwinden, da die Modellleistung ohne regelmäßiges Training nachlassen könnte.

Das ist auf die Konzeptabweichung zurückzuführen, die sich auf die Situation bezieht, dass sich die Konzepte, die ein Modell vorherzusagen versucht, im Laufe der Zeit auf unvorhergesehene Weise ändern können, wodurch Vorhersagen immer weniger genau werden.

Dies bezieht sich im Wesentlichen darauf, wie sich die Dinge in einem Unternehmen im Laufe der Zeit ändern können und wie es intern, mit anderen Unternehmen und mit seinen Kunden kommuniziert. Wenn die Trainingsdaten Ihres Modells nicht mehr repräsentativ für die heutige Umgebung Ihres Unternehmens sind, wird die Leistung schlechter, wenn Sie versuchen, Konzepte in Ihren Kommunikationsdaten zu identifizieren.

Hinweis: Stellen Sie sicher, dass Sie alle Modelle, die in einer Produktionsumgebung verwendet werden, effektiv warten, um eine anhaltend hohe Leistung sicherzustellen.

Verwalten eines Modells in der Produktion

Die Pflege eines Produktionsmodells ist ein einfacher Prozess mit wenig Aufwand. Der Großteil des erforderlichen Aufwands wurde bereits aufgewendet, um die Trainingsdaten für Ihr Modell zu erstellen, bevor es bereitgestellt wird.

Es gibt zwei Hauptansätze zum Verwalten eines Modells, die beide sicherstellen, dass Ihr Modell mit zusätzlichen hilfreichen und repräsentativen Trainingsbeispielen ausgestattet ist:

1. Ausnahmetraining
2. Verwenden des Neuausgleichsmodus

1. Ausnahmetraining

Jedes Modell, das für Automatisierungszwecke verwendet wird, sollte über einen Ausnahmeprozess verfügen, der identifiziert, welche Nachrichten Ausnahmen waren, die die Plattform nicht sicher oder korrekt identifizieren konnte. Weitere Informationen finden Sie unter Echtzeit-Automatisierung.

Dies ist wichtig, da es Ihnen im Wesentlichen ermöglicht, die Nachrichten, mit denen die Plattform zu tun hatte, schnell zu finden und zu kommentieren, wodurch die Fähigkeit des Modells verbessert wird, zukünftige ähnliche Nachrichten vorherzusagen.

Ein Automatisierungsprozess wird eingerichtet, um Nachrichten automatisch mit einer Benutzereigenschaft zu kennzeichnen, die sie als Ausnahme identifiziert. Sie können dann in Explore nach diesen Nachrichten filtern und sie mit den richtigen Beschriftungen anmerken, um sicherzustellen, dass die Plattform in Zukunft ähnliche Nachrichten sicher und korrekt identifizieren kann.

Dies sollte Teil eines regulären Prozesses sein, der auf die konsistente Verbesserung des Modells abzielt. Je mehr Ausnahmen erfasst und mit Anmerkungen versehen werden, desto besser wird ein Modell im Laufe der Zeit funktionieren. Dadurch wird die Anzahl zukünftiger Ausnahmen minimiert und die Effizienzeinsparungen eines auf die Automatisierung ausgerichteten Modells maximiert.

2. Verwenden des Modus „Ausgleich“ und „Neuausgleich“.

Die Ausgewogenheitsbewertung Ihres Modells ist eine Komponente von seiner Modellbewertung. Dies spiegelt wider, wie ähnlich bzw. repräsentativ die Markierungsdaten Ihres Modells für das Dataset als Ganzes sind.

Theoretisch ist es, wenn sich die neuesten Daten, die einem Dataset im Laufe der Zeit hinzugefügt werden, erheblich von den älteren Daten unterscheiden, die zum Trainieren des Modells verwendet wurden, dann würde dies zu einem Drop des Ähnlichkeitswerts führen, der die Ausgewogenheitsbewertung Ihres Modells bestimmt.

Beim Ausnahmetraining ist es wichtig zu überprüfen, ob der Ähnlichkeitswert für das Modell sinkt. Wenn das der Fall ist, sollte dies behoben werden, da es ein Hinweis auf eine Konzeptabweichung sein könnte und die Leistung in der Produktion letztlich sinken wird.

Die einfachste Möglichkeit, einen Drop im Ähnlichkeitswert zu korrigieren, besteht darin, ein Training mit dem Neuausgleichsmodus durchzuführen.

Um sicherzustellen, dass Sie die neuesten Daten trainieren, die für die Art der Kommunikation repräsentativ sind, die heute empfangen wird, können Sie während des Trainings in Reausgleich auch einen Zeitstempelfilter hinzufügen, entweder zu den letzten 3 oder 6 Monaten. Dadurch wird sichergestellt, dass Ihr Modell nicht ausschließlich auf alten Trainingsdaten basiert und möglicherweise keine Änderungen in Ihrem Unternehmen widerspiegelt.