Warum Modellvalidierung wichtig ist

Communications Mining ist eine Plattform für Konversationsdaten, die es Benutzern ermöglicht, Prozesse, die in ihren Kommunikationskanälen verborgen sind, zu erkennen, zu messen und zu automatisieren.

Typische Kanäle sind E-Mails, Tickets, Chats und Anrufe. Die Konversationen in diesen Domänen sind komplex und differenziert. Infolgedessen funktionieren generische Machine-Learning-Modelle nur schlecht. Stattdessen ermöglicht Communications Mining es jedem, mit geringem Aufwand benutzerdefinierte Modelle zu erstellen. Keine technischen Vorkenntnisse erforderlich.

Das ist ein äußerst effektiver Ansatz. Modelle können komplexe Muster lernen und Vorhersagen zu unsichtbaren Daten treffen, genau wie Menschen. Machine-Learning-Modelle haben bei einigen Aufgaben in natürlicher Sprache sogar Menschen überholt.

Aber wie Menschen können auch Machine-Learning-Modelle Fehler machen. Die Schätzung, wie oft ein Modell falsch sein wird, ist für jede reale Anwendung von Machine Learning entscheidend. Ebenso wichtig ist es, dies intuitiv zu präsentieren und die besten Aktionen zur Verbesserung eines Modells hervorzuheben. Communications Mining verwendet die Modellvalidierung, um all diese Aufgaben zu lösen.

So validieren Sie ein Modell

​Während​der Modellerstellung erstellen Benutzer Beschriftungen für Themen, die ihnen wichtig sind, und markieren Beispiele mit zutreffenden Beispielen. Die Plattform trainiert dann ein Machine-Learning-Modell, um die richtigen Bezeichnungen für diese Beispiele vorherzusagen.

Um dieses Modell zu validieren, vergleichen wir seine Vorhersagen mit menschlichen Anmerkungen und suchen nach Fehlern. Es ist schwierig, Vorhersagen für viele Beispiele manuell zu vergleichen. Stattdessen berechnen wir eine Validierungspunktzahl, die zusammenfasst, wie gut ein Modell funktioniert. Dazu benötigen wir für ein trainiertes Modell zwei Dinge: Anmerkungen und eine Punktzahl.

Anmerkungen​

Um zu überprüfen, ob die Vorhersagen korrekt sind, müssen wir die richtigen Anmerkungen für jedes Beispiel kennen. Wir benötigen also Datenpunkte, die von Benutzern mit Anmerkungen versehen wurden.

Wir verwenden bereits Anmerkungen, um das Modell zu trainieren, und wir können diese während der Validierung wiederverwenden. Doch wie ein Mensch, der einen Test macht, werden Machine-Learning-Modelle bei Beispielen, die er zuvor „gesehen“ hat, besser funktionieren.

Wenn ein Modell mit den Daten bewertet wird, auf denen es trainiert wurde, überschätzen wir möglicherweise die Modellqualität. Dies gibt ein irreführendes Bild davon, wie gut unser Modell funktioniert (sogenannte Überanpassung). Aus diesem Grund verwenden wir unterschiedliche Datenpunkte, um Modelle zu trainieren und zu validieren.

Der Standardansatz besteht darin, den Satz von Anmerkungen zufällig in zwei ungleiche Teile aufzuteilen

• Trainingssatz. Der Satz von Beispielen, die zum Trainieren des Modells verwendet werden. Dies ist normalerweise ein größerer Anteil, etwa 80 % der gesamten beschrifteten Daten

• Testsatz. Der verbleibende Anteil (20 %) der Beispiele, die zur Messung der Modellleistung verwendet werden.

Tipp:

In der Veröffentlichung zu Machine Learning haben Sie möglicherweise gesehen, dass Daten in drei Abschnitte unterteilt sind: Trainieren, Validieren und Testen. Der Validierungssatz wird zum Abstimmen des Modells verwendet und der Testsatz wird einmal mit dem endgültigen Modell evaluiert, um die Leistung zu messen. Bei Communications Mining verwenden wir eine k-fach Kreuzvalidierung am Trainingssatz, um das Modell abzustimmen. Unsere „Validierungs“-Punktzahlen werden dann anhand des Testsatzes mit dem endgültigen Modell berechnet. Dadurch werden sie der Testleistung in der ML-Dokumentation gleichwertig.

Da er aus der gleichen Quelle stammt, ist der Testsatz dem Trainingssatz ähnlich. Wenn wir die Leistung im Testsatz überprüfen, simulieren wir, dass das Modell neue E-Mails sieht, aber wir können mit den echten Bezeichnungen vergleichen, um eine Vorstellung von der Modellqualität zu erhalten.

Bewertung​

Um die Modellleistung als Zahl zusammenzufassen, benötigen wir eine Bewertungsfunktion. Diese Funktion vergleicht Modellvorhersagen und menschliche Anmerkungen und gibt eine Zahl aus.

Die Auswahl einer Bewertungsfunktion kann ein schwieriger Prozess sein. Die Funktion muss mit unserer Vorstellung eines guten Modells übereinstimmen, und wir müssen häufige Fehler berücksichtigen, die die Ergebnisse ungenau machen können.

Bei Communications Mining verwenden wir die mittlere durchschnittliche Genauigkeit für unsere Bewertungsfunktion. Dies ist eine robuste Methode zur Messung der Modellleistung über mehrere Bezeichnungen und Anwendungsfälle hinweg. Wenn Sie mehr erfahren möchten, lesen Sie unseren Blogbeitrag über Metriken.

Validierung mit Communications Mining

Mit diesen beiden Komponenten ist die Validierung einfach. Wir müssen lediglich Modellvorhersagen für den Testsatz abrufen und dann unsere Punktzahl verwenden, um die Leistung des Modells zu messen. Jedes Mal, wenn Sie ein neues Modell in Communications Mining trainieren, wird der Validierungsprozess automatisch im Hintergrund ausgeführt und die Ergebnisse werden auf der Seite Validierung gemeldet.

Tatsächlich trainieren wir jedes Mal, wenn wir ein neues Modell trainieren, zwei Modelle hinter den Kulissen

• Validierungsmodell. Dies wird auf dem Trainingssatz trainiert und auf dem Testsatz getestet, um die Leistung zu messen.

• Produktionsmodell. Dies wird an allen mit Anmerkungen versehenen Beispielen (dem Trainingssatz UND dem Testsatz) trainiert und verwendet, um Vorhersagen zu Live-Daten zu treffen. Dieses Modell kann sich vom Validierungsmodell unterscheiden, da es auf mehr Daten trainiert wird, aber beide Modelle haben viele Trainingsbeispiele gemeinsam, sodass die Unterschiede gering sind. Infolgedessen ist die Leistung des Validierungsmodells eine gute Schätzung der Leistung des Produktionsmodells.

Bei diesem Ansatz hat das Modell, das für Downstream-Anwendungen verwendet wird, so viele Daten wie möglich gesehen.

Das Validierungsmodell wird auf dem Trainingssatz trainiert und auf dem Testsatz getestet, aber das Produktionsmodell wird auf allen mit Anmerkungen versehenen Daten trainiert

Warum Sie sich für die Validierung interessieren sollten

Die Validierung ist ein wichtiger Bestandteil bei der Entwicklung effektiver Machine Learning-Modelle und bietet viele Vorteile für Benutzer. Falls Sie nicht Überzeugt sind, hier sind drei wichtige Gründe, warum Sie sich darum kümmern sollten.

Bekannte Unbekannte​

Die Validierung zeigt Ihnen, wie gut Ihr Modell funktioniert, aber sie zeigt auch Situationen auf, in denen Ihr Modell Probleme haben könnte. Diese Situationen können verschiedene Gründe haben; Von wechselnden Trends bei Live-Daten bis hin zu inkonsistenter Beschriftung zwischen Benutzern und Teams. Es ist wichtig, dass die Modellvalidierung interpretierbar ist, damit Sie über auftretende Probleme Bescheid wissen und sie schnell beheben können.

Mit der Validierung können Sie Datenpunkte überprüfen, bei denen Ihr Modell nicht sicher ist. Anschließend können Sie Ihr Modell in diesem Bereich verbessern oder jeden nachgelagerten Prozess robuster machen. Sie können sich also darauf verlassen, dass Ihr Modell genau das tut, was Sie möchten, und dass es keine bösen Überraschungen gibt.

Auf der Validierungsseite können Benutzer das Modell überprüfen und nachgelagerte Prozesse kalibrieren

Keine Vorkenntnisse erforderlich​

Beim Training von Modellen gibt es viele Risiken, die oft schwer zu diagnostizieren sind. Glücklicherweise bedeutet unser Validierungsprozess, dass Sie kein Datenspezialist sein müssen, um großartige Modelle zu erstellen.

Wenn wir ein Modell validieren, geben wir nicht nur eine einzelne Punktzahl zurück. Stattdessen berechnen wir eine Modellbewertung. Dazu gehören die Modellvalidierungspunktzahl sowie andere Faktoren, z. B. Muster in den nicht überprüften Daten und Versatz in den beschrifteten Beispielen.

Modellbewertungen geben ein detailliertes Feedback zur Leistung und klare Anweisungen zu Verbesserungsvorschlägen. Benutzer können sich darauf konzentrieren, ihr Domänenwissen zu nutzen, um Probleme zu lösen, ohne mit Entwicklungsteams oder KI-Experten zusammenzuarbeiten. Communications Mining führt Sie durch jeden Schritt der Modellentwicklung.

Modellbewertungen enthalten detaillierte Leistungsinformationen und empfohlene Aktionen zur Verbesserung eines Modells

Schnellerer Feedback, bessere Modelle​

Die meisten Machine-Learning-Modelle werden nicht häufig aktualisiert und einmal vor der Bereitstellung validiert. Bei Communications Mining verfolgen wir einen anderen Ansatz.

Anstatt lange zwischen den Updates zu warten, trainieren und validieren wir kontinuierlich neue Modelle. Das bedeutet, dass das Modell immer auf den aktuellen Zustand der Daten anwendbar ist und die Validierungsergebnisse aktuell sind.

Schnelles Feedback minimiert die Modelliterationszeit. Leistungseinbußen können so schnell wie möglich behoben werden, und Benutzer verschwenden keine Zeit mit veraltetem Feedback. Der agile Validierungsprozess von Communications Mining ermöglicht es Benutzern, hochwertige Modelle in kürzerer Zeit zu erstellen.

Zusammenfassung

• ​Die Validierung​wird verwendet, um Modelle zu bewerten und eine gute Leistung bei nicht angezeigten Daten sicherzustellen.

• Modelle werden anhand nicht angezeigter Daten bewertet, um ihre Leistung genau abzuschätzen und eine Überanpassung zu vermeiden.

• Wir verwenden Modellbewertungen, um detailliertes Feedback zu geben, damit Sie Probleme schnell beheben und sicher sein können, dass Ihr Modell genau das tut, was es soll.