Verwalten eines Modells in der Produktion

Warum ist Modellwartung wichtig?

Die Erstellung eines Modells, das für die Bereitstellung in einer Produktionsumgebung geeignet ist, erfordert einen Zeitaufwand, der sich schnell durch den Wert laufender Analysen und Effizienzeinsparungen durch Automatisierung auszahlt.

Wenn ein Modell auf lange Sicht nicht effektiv gewartet wird, können die Vorteile des Modells im Laufe der Zeit nachlassen, da die Modellleistung möglicherweise ohne ein geringfügiges zusätzliches Training abnimmt.

Dies ist auf die „Konzeptabweichung “ zurückzuführen, die sich auf die Situation bezieht, in der sich die Konzepte, die ein Modell vorherzusagen versucht, im Laufe der Zeit auf unvorhergesehene Weise ändern können, wodurch Vorhersagen immer weniger genau sind.

Dabei geht es im Wesentlichen darum, wie sich die Dinge in einem Unternehmen im Laufe der Zeit ändern können und wie es intern, mit anderen Unternehmen und mit seinen Kunden kommuniziert. Wenn die Trainingsdaten Ihres Modells nicht mehr repräsentativ für die heutige Funktionsweise Ihres Unternehmens sind, wird die Leistung schlechter sein, wenn Sie versuchen, Konzepte in Ihren Kommunikationsdaten zu identifizieren.

Daher ist es wichtig, dass jedes Modell, das in einer Produktionsumgebung verwendet wird, effektiv gewartet wird, um eine anhaltend hohe Leistung sicherzustellen.

Wie wird ein Modell in der Produktion verwaltet?

Die Wartung eines Produktionsmodells ist ein einfacher Prozess mit geringem Aufwand. Der Großteil der erforderlichen Arbeit wurde bereits darauf verwendet, die Trainingsdaten für Ihr Modell zu erstellen, bevor es bereitgestellt wird.

Es gibt zwei Hauptansätze zum Verwalten eines Modells, die beide sicherstellen, dass Ihr Modell mit zusätzlichen hilfreichen und repräsentativen Trainingsbeispielen ausgestattet ist:

1. Ausnahmetraining
2. Modus „Neuausgleich“ wird verwendet

1. Ausnahmetraining

Jedes Modell, das für Automatisierungszwecke verwendet wird, sollte über einen Ausnahmeprozess verfügen, der identifiziert, welche Meldungen Ausnahmen waren, die die Plattform nicht sicher oder korrekt identifizieren konnte (weitere Details finden Sie hier ).

Dies ist wichtig, da es Ihnen im Wesentlichen ermöglicht, die Nachrichten, mit denen die Plattform zu tun hatte, schnell zu finden und zu kommentieren, wodurch die Fähigkeit des Modells verbessert wird, zukünftige ähnliche Nachrichten vorherzusagen.

In der Regel wird ein Automatisierungsprozess so eingerichtet, dass Nachrichten automatisch mit einer Benutzereigenschaft gekennzeichnet werden, die sie als Ausnahme identifiziert. Anschließend können Sie im Erkundungsmenü nach diesen Nachrichten filtern und sie mit den richtigen Beschriftungen kommentieren, um sicherzustellen, dass die Plattform ähnliche Nachrichten in Zukunft sicher und korrekt identifizieren kann.

Dies sollte Teil eines regulären Prozesses sein, der auf die konsistente Verbesserung des Modells abzielt. Je mehr Ausnahmen erfasst und mit Anmerkungen versehen werden, desto besser wird ein Modell im Laufe der Zeit funktionieren. Dadurch wird die Anzahl zukünftiger Ausnahmen minimiert und die Effizienzeinsparungen eines auf die Automatisierung ausgerichteten Modells maximiert.

2. Verwenden des Abgleichs und des Modus „Neuausgleich“.

Die Bewertung „ Gleichgewicht“ Ihres Modells ist ein Bestandteil seiner Modellbewertung. Dies spiegelt wider, wie ähnlich, d. h. repräsentativ, die Trainingsdaten Ihres Modells dem Dataset als Ganzes sind.

Wenn sich die neuesten Daten, die einem Dataset im Laufe der Zeit hinzugefügt werden, erheblich von den älteren Daten unterscheiden, die zum Trainieren des Modells verwendet wurden, führt dies theoretisch zu einem Drop der Ähnlichkeitsbewertung , die die Ausgewogenheitsbewertung Ihres Modells bestimmt.

Beim Ausnahmetraining muss überprüft werden, ob die Ähnlichkeitsbewertung für das Modell sinkt. Wenn dies der Fall ist, sollte dies behoben werden, da dies ein Hinweis auf eine Konzeptabweichung sein könnte und bedeuten würde, dass die Leistung in der Produktion letzten Endes sinken wird.

Die einfachste Möglichkeit, einen Drop in der Ähnlichkeitsbewertung zu korrigieren, besteht darin, einige Trainings im Modus „Neuausgleich“ durchzuführen.

Um sicherzustellen, dass Sie die neuesten Daten trainieren, die repräsentativ für die Art der Kommunikation sind, die heute empfangen wird, können Sie auch einen Zeitstempelfilter während des Trainings in „Neuausgleich“ hinzufügen, entweder für die letzten 3 oder 6 Monate. Dadurch wird sichergestellt, dass Ihr Modell nicht ausschließlich auf Trainingsdaten basiert, die alt sind und keine Änderungen in Ihrem Unternehmen widerspiegeln.