Verstehen und Verbessern der Modellleistung

Verstehen der Gesamtleistung des Modells

Wie gut ein Machine Learning-Modell insgesamt abschneidet, wird durch eine Reihe von Faktoren bestimmt, die in Kombination miteinander berücksichtigt werden müssen. Es reicht nicht aus, nur zu berücksichtigen, ob die Beschriftungen eines Modells eine hohe durchschnittliche Genauigkeit haben oder nur zu sehen, wie viel eines Datasets von Vorhersagen abgedeckt wird.

Um sicher zu sein, dass ein Modell eine tatsächliche Darstellung eines Datasets ist, mit genauen, zuverlässigen Beschriftungsvorhersagen und hoher Abdeckung, bewerten wir die folgenden Hauptfaktoren. Weitere Informationen finden Sie unter So funktioniert die Validierung.

• Alle Beschriftungen – Bewertet die durchschnittliche Leistung aller Beschriftungen in der Taxonomie
• Beschriftungen mit unzureichender Leistung – Bewertet die Leistung der 10 % der Beschriftungen, die die größten Leistungsprobleme oder den schlechtesten Gesamtzustand aufweisen
• Abdeckung – Bewertet den Anteil der Nachrichten, die voraussichtlich mindestens eine informative Beschriftung haben werden
• Ausgewogenheit – Bewertet, ob die überprüften Daten ein effektiver, ausgewogener, repräsentativ für das gesamte Dataset sind

Die Plattform kombiniert die Bewertung dieser 4 Faktoren in einer einzigen, leicht verständlichen, proprietären Modellbewertung. Diese Bewertung ist das beste Maß für die Leistung des Modells, da sie alle wichtigsten Faktoren berücksichtigt, für die ein Beschriftungsmodell bewertet werden sollte, gewichtet durch ihre relative Bedeutung.

Die Modellbewertung ist eine Punktzahl von 0 bis 100, was einer Bewertung von Schlecht (0–49), Durchschnittlich (50–69), Gut (70–89) oder Ausgezeichnet (90–100) entspricht.

Die Validierung bietet auch eine Aufschlüsselung jedes dieser Faktoren – Jedem Faktor wird eine eigene qualitative Bewertung zugewiesen, und es werden die Metriken angezeigt, die zu dieser Bewertung beitragen. Diese werden unten ausführlicher beschrieben.

Jeder Faktor kann je nach Leistung entweder einen positiven oder negativen Beitrag zur Modellbewertung haben. Es ist sehr möglich, dass Modelle mit Schlechten Bewertungen für jeden Faktor eine Gesamtbewertung von null haben, insbesondere wenn es noch sehr früh im Modelltrainingsprozess ist.

Hinweis: Die Modellbewertung ist spezifisch für Beschriftungen und berücksichtigt nicht die Leistung von allgemeinen Feldern. Die Validierung bietet jedoch auch detaillierte Metriken zur Leistung von allgemeinen Feldvorhersagen. Weitere Informationen finden Sie unter Verwenden von allgemeinen Feldern.

In der Dropdownliste Modellversion können Sie alle Validierungspunktzahlen für frühere Modellversionen in einem bestimmten Dataset anzeigen. Sie können auch einzelne priorisieren oder mit einem Stern versehen, sodass sie in Zukunft oben auf der Liste erscheinen. Dieses Tool kann nützlich sein, um den Fortschritt bei der Erstellung Ihres Modells zu verfolgen und zu vergleichen.

Die Dropdownliste stellt sicher, dass Sie keine Modellversion anheften müssen, um die Validierungspunktzahlen dafür anzuzeigen. Das Anheften einer Modellversion muss nur für Modellversionen verwendet werden, die Sie nachgelagert über die API aufrufen können möchten (z. B. für das automatisierte Routing).

Die Dropdownliste der Modellversion

Faktoren

Die Registerkarte Faktoren in Validierung bietet, wie zuvor gezeigt, eine Aufschlüsselung jedes der wichtigen Faktoren, die bei der Berechnung der Modellbewertung berücksichtigt werden .

Jede Faktorkarte zeigt:

• Die Bewertung für den Faktor und eine qualitative Beschreibung davon
• Die Mitwirkenden sind die verschiedenen Komponenten, die zur Bewertung für diesen Faktor beitragen
• Empfohlene Aktionen, die in der Reihenfolge der Priorität aufgeführt sind und zur Verbesserung der Bewertung des Faktors beitragen können

Alle Beschriftungen

• Dieser Faktor bewertet die durchschnittliche Leistung aller Bezeichnungen in der Taxonomie.
• Sie hängt hauptsächlich von der mittleren durchschnittlichen Genauigkeit (MAP) für alle Bezeichnungen ab, gewichtet danach, wie häufig sie zugewiesen werden
• Es wird auch berücksichtigt, wenn die Taxonomie Beschriftungen mit roten oder gelben Leistungswarnungen enthält
• Die empfohlenen Aktionen für diesen Faktor zielen in der Regel darauf ab, die durchschnittliche Genauigkeit bestimmter Beschriftungen zu erhöhen oder ihre Leistungswarnungen zu entfernen

Beschriftungen mit unzureichender Leistung

• Mit diesem Faktor wird die Leistung der 10 % der Bezeichnungen in der Taxonomie bewertet, die die größten Leistungsprobleme oder den niedrigsten Zustand der Bezeichnung insgesamt aufweisen (wenn keine Warnungen zurückgegeben werden).
• Wenn selbst die unteren 10 % Ihrer Bezeichnungen noch sehr gut funktionieren, ist dies ein Zeichen dafür, dass Ihr Modell in Ordnung ist
• Dies hängt von der MAP der Bezeichnungen mit der niedrigsten Leistung ab und ob diese Bezeichnungen signifikante Leistungswarnungen aufweisen (d. h rote oder gelbe Warnungen).
• Die empfohlenen Aktionen für diesen Faktor werden in der Regel so konzipiert, dass die durchschnittliche Genauigkeit bestimmter Beschriftungen mit unzureichender Leistung erhöht und alle anderen einzelnen Leistungswarnungen entfernt werden

Abdeckung

• Dieser Faktor bewertet den Anteil der Nachrichten, die voraussichtlich mindestens eine informative Beschriftung haben werden. Weitere Informationen finden Sie unter So funktioniert die Validierung.
• Es ist sehr wichtig, dass ein gut funktionierendes Modell so viel wie möglich vom Dataset mit aussagekräftigen Bezeichnungsvorhersagen „abdeckt“.
• Die empfohlenen Aktionen für diesen Faktor sollen die Abdeckung des Datasets erhöhen. Hierbei wird meistens im Modus „Niedrige Konfidenz“ trainiert.
• Weitere Informationen zur Abdeckung finden Sie unter Grundlegendes und Erhöhung der Abdeckung.

Ausgewogenheit

• Dieser Faktor bewertet, ob die überprüften Daten eine effektive, ausgewogene Darstellung des gesamten Datasets sind, und wurde entwickelt, um potenzielle Anmerkungsverzerrungen zu erkennen. Weitere Informationen finden Sie unter So funktioniert die Validierung.
• Sie basiert auf einem Ähnlichkeitswert, der sich aus dem Vergleich der überprüften Daten mit den nicht überprüften Daten im Dataset ergibt, und darauf, ob beim Versehen der Daten mit Anmerkungen der Mischmodus verwendet wurde.
• Es ist wichtig, dass die überprüften Daten in einem Dataset den nicht überprüften Daten so ähnlich wie möglich sind, damit die Plattform so viel wie möglich davon identifizieren kann.
• Die empfohlenen Aktionen für diesen Faktor sollen potenzielle Verzerrungen bei Anmerkungen reduzieren und den Ähnlichkeitswert der überprüften Daten erhöhen.
• Weitere Informationen zum Verstehen und Verbessern des Ausgleichs des Datasets finden Sie unter Ausgewogenheit verbessern und zum Neuausgleich verwenden.

Hinweis: Die Plattform versucht immer, die empfohlenen nächstbesten Aktionen zu ermitteln, die einen Faktor verbessern könnten, auch wenn der Faktor als gut oder exzellent eingestuft wird . Dies ist für den Fall erforderlich, dass Sie die Leistung dieses Faktors weiter optimieren möchten.

Metriken

Auf der Registerkarte Metriken der Seite Validierung werden einige Statistiken zur durchschnittlichen Beschriftungsleistung sowie ein Diagramm angezeigt, das die durchschnittliche Genauigkeit jeder Beschriftung im Zusammenhang mit ihrer Trainingssatzgröße zeigt. Das Diagramm gekennzeichnet auch Beschriftungen mit gelben oder roten Leistungswarnungen.

Die angezeigten Statistiken zur Beschriftungsleistung sind:

• Mittlere Durchschnittsgenauigkeit (MAP)
• Mittlere Genauigkeit bei Erinnerung

Im Wesentlichen gilt: Je höher Ihre MAP- Punktzahl, desto besser die Gesamtleistung des Modells, wenn es um die Genauigkeit seiner Vorhersagen geht. Dies hängt jedoch von den Datasets ab, die vom Datentyp und den Zielen abhängen, auf die Sie Ihre Taxonomie ausgerichtet haben.

Der MAP ist jedoch kein gutes Maß für die Abdeckung oder Ausgewogenheit und sollte nicht allein dazu genutzt werden, um zu bestimmen, ob Ihr Modell für den Zweck geeignet ist. Weitere Informationen finden Sie unter Verstehen und Erhöhen der Abdeckung und Verstehen und Verbessern der Modellleistung.

Verstehen der Beschriftungsleistung

Das Beschriftungsleistungsdiagramm, das auf der Registerkarte Metriken der Seite Validierung angezeigt wird, gibt sofort einen visuellen Überblick über die Leistung jeder einzelnen Beschriftung.

Damit eine Bezeichnung in diesem Diagramm angezeigt wird, muss sie mindestens 20 angeheftete Beispiele im Trainingssatz haben, der von der Plattform während der Validierung verwendet wird. Um dies zu gewährleisten, sollten Benutzer sicherstellen, dass sie mindestens 25 (oft mehr) angeheftete Beispiele pro Beschriftung angeben.

Jede Beschriftung wird in einer von drei Farben dargestellt, basierend auf dem Verständnis des Modells für die Leistung der Beschriftung. Im Folgenden erklären wir, was diese bedeuten:

Beschriften Sie Leistungsindikatoren

• Diese Beschriftungen, die im Diagramm blau dargestellt sind, haben ein zufriedenstellendes Leistungsniveau. Dies basiert auf zahlreichen Faktoren, die dazu beitragen, einschließlich der Anzahl und Vielfalt der Beispiele, der Verzerrung von Anmerkungen und der durchschnittlichen Genauigkeit für diese Beschriftung.
• Gelbe Beschriftungen haben eine etwas weniger als zufriedenstellende Leistung. Sie können eine relativ geringe durchschnittliche Genauigkeit haben, nicht genügend Trainingsbeispiele haben oder verzerrt mit Anmerkungen versehen sein. Diese Beschriftungen erfordern ein wenig Training/Korrektur, um ihre Leistung zu verbessern oder Verzerrungen in der Art und Weise zu reduzieren, wie sie trainiert wurden.
• Beschriftungen, die rot aufgezeichnet werden, haben eine schlechte Leistung. Sie haben möglicherweise eine sehr geringe durchschnittliche Genauigkeit, nicht genügend Trainingsbeispiele oder sind stark verzerrt in der Art und Weise, wie sie mit Anmerkungen versehen wurden. Diese Beschriftungen können erheblich mehr Training/Korrektur erfordern, um ihre Leistung auf ein zufriedenstellendes Maß zu verbessern oder die Verzerrung in der Art und Weise, wie sie trainiert wurden, erheblich zu reduzieren.

Hinweis: Die gelben und roten Leistungsindikatoren werden in den Beschriftungsfilterleisten in „Erkunden“, „Berichte“ und „Validierung“ angezeigt. Dadurch können Sie schnell benachrichtigt werden, welche Beschriftungen Hilfe benötigen und auch welche Vorhersagen bei der Verwendung der Analysefunktionen nicht berücksichtigt werden sollten.

Leistung der einzelnen Beschriftungen

Benutzer können einzelne Beschriftungen aus der Beschriftungsfilterleiste auswählen oder das Diagramm der Beschriftung im Diagramm Alle Beschriftungen auswählen, um die Leistungsstatistiken der Beschriftung anzuzeigen. Die spezifische Beschriftungsansicht zeigt auch alle Leistungswarnungen an und empfiehlt die nächste beste Aktion zur Verbesserung ihrer Leistung.

Die Beschriftungsansicht zeigt die durchschnittliche Genauigkeit für die Beschriftung sowie ihre Genauigkeit im Vergleich zur Erinnerung basierend auf einem bestimmten Konfidenzschwellenwert an, den Benutzer selbst anpassen können, um anzuzeigen, wie sich der Wert ändert. Weitere Informationen finden Sie unter Grundlegendes zum Schieberegler für den Beschriftungsschwellenwert.

Verbesserung der Gesamtleistung des Modells und der einzelnen Bezeichnungen

Wenn Ihr Modell oder eine bestimmte Beschriftung eine Leistungswarnung aufweist, empfiehlt die Plattform die nächstbeste Aktion, die ihrer Meinung nach hilft, diese Warnung zu beheben. Dies geschieht entweder über eine der Faktorkarten (wie unten gezeigt) oder wenn Sie eine bestimmte Beschriftung aus der Taxonomie oder dem Diagramm Alle Beschriftungen auswählen, wie zuvor gezeigt.

Bei einigen Beschriftungen mit sehr geringer durchschnittlicher Genauigkeit ist möglicherweise nicht immer klar, warum sie eine schlechte Leistung erbringen. Mögliche Gründe, warum eine Beschriftung eine geringe durchschnittliche Genauigkeit haben kann und wie diese verbessert werden kann, werden im folgenden Artikel Gründe für die geringe durchschnittliche Beschriftungsgenauigkeit erläutert. Die Plattform stellt immer die ihrer Meinung nach besten Korrekturmaßnahmen zur Verbesserung der Beschriftung bereit, die in der Reihenfolge der Priorität aufgeführt sind.

Wenn Sie sich nicht auf der Seite Validierung befinden, werden die roten und gelben Leistungswarnungen weiterhin im Taxonomiefilter in „Erkunden“ und „Berichte“ angezeigt, sodass dies ein hilfreicher Indikator sein kann, um die Validierung zu überprüfen und die empfohlenen Korrekturmaßnahmen anzuzeigen.

Die nächsten besten Aktionsvorschläge fungieren als Links, die Sie auswählen können, um direkt zur Trainingsansicht zu gelangen, die die Plattform vorschlägt, um die Leistung der Beschriftung zu verbessern oder ihre Verzerrung zu reduzieren. Die Vorschläge werden intelligent mit der Aktion mit der höchsten Priorität sortiert, um die zuerst aufgeführte Beschriftung zu verbessern.

Dies ist das wichtigste Tool, um die Leistung Ihres Modells zu verstehen, und sollte regelmäßig als Leitfaden verwendet werden, wenn Sie versuchen, die Leistung einer Beschriftung zu verbessern.

Im nächsten Artikel werden die Gründe für eine geringe durchschnittliche Genauigkeit einer Beschriftung im Detail beschrieben. Die späteren Artikel in diesem Abschnitt der Wissensdatenbank behandeln auch die anderen Trainingsmodi, die die Plattform zur Verbesserung der Leistung Ihres Modells vorschlagen kann, nämlich Beschriftung überprüfen, Fehlende Beschriftung und Neuausgleich.

Hinweis: Wenn Sie eine ältere Modellversion ausgewählt haben, werden die Warnungen und vorgeschlagenen Aktionen weiterhin angezeigt, aber wenn Sie mit der Maus auf das Informationssymbol zeigen, werden Sie in einem Popup gewarnt, dass diese spezifischen Statistiken nicht geändert werden können, da sie vorhanden sind eine neuere Modellversion, an der Sie arbeiten können.

Grundlegendes zum Schieberegler für den Bezeichnungsschwellenwert

Hinweis: Das Anpassen des Schiebereglers für den Konfidenzschwellenwert wirkt sich nicht tatsächlich auf das Modell aus. Es zeigt Ihnen lediglich, wie sich die Vorhersagen für diese Beschriftung auf die Vorhersagen auswirken würden, wenn ein bestimmter Konfidenzschwellenwert ausgewählt würde. Dies kann Ihnen helfen, einen geeigneten Schwellenwert für Streams auszuwählen oder Vorhersagen für die nachgelagerte Automatisierung zu verwenden.

Um den Konfidenzschwellenwert für eine Beschriftung anzupassen, können Sie ein Prozentzeichen % in das Feld eingeben oder einfach den Schieberegler einfach an der Skala ziehen.

Kommentieren Sie bestimmte Validierungsstatistiken

Beachten Sie, dass im vorherigen Bild der Konfidenzschwellenwert für die Beschriftung Angebot > Motor auf 68,7 % festgelegt ist, was einer Genauigkeit von 100 % und einer Erinnerung von 85 % entspricht.

In der folgenden Abbildung wurde der Konfidenzschwellenwert mit dem Schieberegler auf 17 % angepasst, wodurch die Genauigkeit auf 84 % sinkt, aber die Erinnerung auf 100 % erhöht wird.

Beschriften Sie bestimmte Validierungsdiagramme

Weitere Informationen zur Beziehung zwischen Genauigkeit und Erinnerung finden Sie unter Genauigkeit und Erinnerung.

Weitere Informationen zum Auswählen von Schwellenwerten für die Verwendung in Automatisierungen finden Sie unter Auswählen von Konfidenzschwellenwerten für die Beschriftung.