Verstehen und Erhöhen der Abdeckung

Benutzerberechtigungen erforderlich: „Quellen anzeigen“ UND „Überprüfen und Kommentieren“.

Was ist Abdeckung?

Die Abdeckung ist ein im Machine Learning häufig verwendeter Begriff und bezieht sich darauf, wie gut ein Modell die Daten abdeckt, die es analysiert wird. In der Plattform bezieht sich dies auf den Anteil der Nachrichten im Dataset, die über informative Bezeichnungsvorhersagen verfügen, und wird unter Validierung als prozentuale Punktzahl angezeigt.

'Informative Bezeichnungen ' sind solche Bezeichnungen, die die Plattform als nützlich als eigenständige Bezeichnungen versteht, indem sie betrachtet, wie häufig sie mit anderen Bezeichnungen zugewiesen werden. Bezeichnungen, die immer einer anderen Bezeichnung zugewiesen sind, z. B übergeordnete Bezeichnungen, die nie selbst zugewiesen werden, oder „Dringend“, wenn sie immer mit einer anderen Bezeichnung zugewiesen werden, werden bei der Berechnung der Punktzahl nach unten gewichtet.

Die folgende Abbildung gibt einen Hinweis darauf, wie eine geringe Abdeckung im Vergleich zu einer hohen Abdeckung in einem gesamten Dataset aussehen würde. Stellen Sie sich vor, die schattierten Kreise sind Nachrichten mit informativen Bezeichnungsvorhersagen.

Als Metrik ist die Abdeckung eine sehr hilfreiche Methode, um zu verstehen, ob Sie all die verschiedenen potenziellen Konzepte in Ihrem Dataset erfasst haben und ob Sie genügend unterschiedliche Trainingsbeispiele für sie zur Verfügung gestellt haben , damit die Plattform sie effektiv vorhersagen kann.

In fast allen Fällen ist die Leistung eines Modells umso besser, je höher die Abdeckung ist. Dies sollte jedoch bei der Überprüfung der Modellleistung nicht isoliert betrachtet werden .

Es ist auch sehr wichtig, dass die Beschriftungen in der Taxonomie fehlerfrei sind, d. h. eine hohe durchschnittliche Genauigkeit und keine anderen Leistungswarnungen aufweisen und dass die Trainingsdaten ein ausgewogenes Abbild des Datasets als Ganzes sind.

Wenn Ihre Beschriftungen fehlerhaft sind oder die Trainingsdaten nicht repräsentativ für das Dataset sind, ist die Abdeckung Ihres Modells, die die Plattform berechnet , unzuverlässig.

Eine hohe Abdeckung Ihres Modells ist besonders wichtig, wenn Sie es zur Steuerung von automatisierten Prozessen verwenden.

Abdeckung im Kontext

Betrachten wir also einen typischen Anwendungsfall – die automatische Weiterleitung verschiedener Anfragen, die ein gemeinsames E-Mail-Postfach in einem Unternehmen empfängt.

Bei einem Modell, das entwickelt wurde, um verschiedene Anforderungen automatisch weiterzuleiten, würde eine geringe Abdeckung bedeuten, dass viele Anforderungen ungenau weitergeleitet oder zur manuellen Überprüfung gesendet wurden, da das Modell sie nicht identifizieren konnte.

Wenn 10 Schlüsselprozesse vom Team im Postfach verwaltet werden, die Taxonomie aber nur sieben davon effektiv erfasst, führt dies wahrscheinlich zu einem schlechten Abdeckungspunkt. Alternativ kann das Modell fälschlicherweise die verbleibenden Prozesse als andere Prozesse vorhersagen, da nicht trainiert wurde, um welche es tatsächlich handelt. Dies würde zu einer falsch hohen Abdeckungspunktzahl führen.

Während der Automatisierung würden die verbleibenden drei Prozesse wahrscheinlich übersehen, zur manuellen Überprüfung gesendet oder fälschlicherweise als anderer Prozess klassifiziert und an den falschen Ort weitergeleitet werden.

Es ist auch wichtig, dass es für jeden der Prozesse ausreichend unterschiedliche Trainingsbeispiele gibt, welche die unterschiedlichen Ausdrücke erfassen, die bei der Besprechung des Prozesses verwendet werden. Ist dies nicht der Fall, hat jede Bezeichnung eine geringere Wiedererkennung und die Abdeckung des Modells ist gering.

Die folgende Abbildung zeigt, wie dieses Beispiel in der Praxis aussehen könnte – Wir haben mehrere Clients, die verschiedene Anforderungstypen per E-Mail senden. Jeder Client kann denselben Anforderungstyp auf eine andere Weise schreiben:

Es werden drei verschiedene Modellszenarien gezeigt, die jeweils unterschiedliche potenzielle Auswirkungen auf die Abdeckung haben:

	Nicht alle Anforderungstypen (d. h von der Taxonomie abgedeckte Konzepte – Wahrscheinlich geringe Abdeckung
	Alle Anforderungstypen abgedeckt, aber einige Beschriftungen sind fehlerhaft und enthalten möglicherweise nicht genügend Beispiele. Die Abdeckung kann niedrig und wahrscheinlich unzuverlässig sein
	Alle abgedeckten Anforderungstypen und Bezeichnungen sind alle fehlerfrei – Hohe Abdeckung, die wahrscheinlich zuverlässig ist

So überprüfen Sie die Abdeckung Ihres Modells

In der Validierung bietet die Modellbewertungsfunktion eine detaillierte Aufschlüsselung der Modellleistung über die wichtigsten Faktoren hinweg, einschließlich der Abdeckung.

Benutzer erhalten eine prozentuale Punktzahl für den Anteil der Nachrichten, die voraussichtlich eine informative Bezeichnung (siehe Erklärung oben) haben werden, was wiederum mit einer Bewertung und einem Beitrag zur Gesamtbewertung des Modells übereinstimmt.

Die Plattform hat auch den Anteil der Nachrichten angegeben, die mindestens eine Bezeichnung vorhergesagt haben, aber dies bestimmt nicht die Punktzahl und die Bewertung für diesen Faktor.

Im folgenden Beispiel sehen wir, dass:

• Die Abdeckung für dieses Modell beträgt 85,2 %.
• Dies entspricht der Bewertung für diesen Faktor
• Dies bedeutet auch einen positiven Beitrag zur Gesamtbewertung des Modells von +3

Beispiel für die Aufschlüsselung der Abdeckung in der Validierung

Denken Sie daran, dass die Abdeckung als Leistungskennzahl immer in Verbindung mit der Integrität der Beschriftungen in der Taxonomie und der Ausgewogenheit des Datasets zu verstehen ist. Bevor Sie die von der Plattform bereitgestellte Abdeckungspunktzahl für zuverlässig halten, sollten Sie auch sicherstellen, dass Sie mindestens die Bewertung „ Gut“ für die anderen Faktoren haben, die zur Modellbewertung beitragen.

Wie hoch sollte die Abdeckung eines Modells sein?

Ihre Abdeckung sollte mindestens hoch genug sein, dass die Plattform die Bewertung „Gut“ bietet. Wenn es dieses Phase erreicht hat, funktioniert Ihr Modell gut und Sie können es basierend auf den Anforderungen Ihres Anwendungsfalls weiter optimieren .

Genau wie Menschen haben auch Machine-Learning-Modelle ihre Grenzen. Sie sollten also keine 100%ige Abdeckung erwarten. Sie können diesem Wert sehr nahe kommen, aber nur, wenn Ihre Daten äußerst einfach sind und sich wiederholen oder wenn Sie einen sehr großen Teil des Datasets mit Anmerkungen versehen.

Das Erreichen der Bewertung „ Ausgezeichnet“ kann je nach Daten potenziell schwierig sein und ist je nach Anwendungsfall nicht immer erforderlich .

Bei automatisierungsorientierten Anwendungsfällen ist eine hohe Abdeckung besonders wichtig. Daher möchten Sie in diesen Fällen die Abdeckung wahrscheinlich so weit wie möglich optimieren und die Bewertung „ Ausgezeichnet“ erhalten.

Bei analyseorientierten Anwendungsfällen ist eine sehr hohe Abdeckung etwas weniger kritisch. Es reicht oft aus, wenn Modelle die am häufigsten vorkommenden Konzepte identifizieren können, da diese die besten Erkenntnisse und potenziellen Änderungs- und Verbesserungsmöglichkeiten bieten.

Es ist erwähnenswert, dass ein analyseorientiertes Modell in der Regel etwas an Genauigkeit einnimmt, um ein breites Spektrum an Konzepten in seiner Taxonomie zu erfassen.

Wie erhöht man die Abdeckung eines Modells?

Wie bei den anderen beitragenden Faktoren bietet die Plattform nützliche empfohlene „nächste beste Aktionen“ , die Benutzer durchführen können, um die Abdeckung Ihres Modells zu verbessern (siehe Bilder oben und unten).

Die empfohlenen Aktionen dienen als Links , die Sie direkt zum vorgeschlagenen Trainingsmodus führen.

Bei der Abdeckung empfiehlt die Plattform meistens das Training im Modus „ Niedrige Konfidenz“, da dieser Modus es Benutzern ermöglicht, die am wenigsten „abgedeckte“ aller Meldungen im Dataset zu kommentieren . Weitere Informationen zur Verwendung dieses Trainingsmodus finden Sie hier.

Nach einer angemessenen Menge an Training im empfohlenen Trainingsmodus (wie viel hängt davon ab, wie niedrig die Abdeckung am Anfang ist ), können Benutzer erneut nachsehen, wie es sich verbessert hat, sobald das Modell neu trainiert und die Validierung aktualisiert wurde. Bei Bedarf können sie den Prozess wiederholen , um ihre Punktzahlen weiter zu verbessern.

Wenn die Abdeckung sehr niedrig ist, normalerweise zu Beginn des Trainings, kann die Plattform auch andere Trainingsmodi empfehlen, die ihrer Meinung nach von Vorteil sind, z. B. das Kommentieren von Clustern ähnlicher Meldungen in Discover (wie im Beispiel unten gezeigt).

Beispiel einer Faktorkarte, die eine geringe Abdeckung für ein Modell und empfohlene Aktionen zeigt

Abdeckungsprüfung für bestimmte Bezeichnungen

Die Plattform kann intelligent identifizieren, welche Bezeichnungen in einer Taxonomie bei der Bewertung der Abdeckung eines Modells „informativ“ sind, und präsentiert dies in der Modellbewertung (wie oben beschrieben).

Wenn Sie jedoch den Anteil eines Datasets einschätzen möchten, der wahrscheinlich von Vorhersagen für einen bestimmten Satz von Beschriftungen in Ihrer Taxonomie abgedeckt wird, können Sie dies auf der Seite Berichte tun.

Dazu können Sie alle fraglichen Bezeichnungen in der Bezeichnungsfilterleiste in Berichten auswählen (wie unten gezeigt).

Bezeichnungen in der Filterleiste „Berichte“ ausgewählt

Die Nachrichtenanzahl oben auf der Seite in „Berichte“ wird basierend auf angewendeten Filtern aktualisiert. Wenn Sie Bezeichnungen aus dem Bezeichnungsfilter auswählen, wird die Anzahl aktualisiert, um die Anzahl der Nachrichten anzuzeigen, die wahrscheinlich mindestens eine der ausgewählten Bezeichnungen vorhergesagt haben.

Nachrichtenanzahl in Berichten

In diesem Beispiel-Dataset von E-Mails, die sich ausschließlich auf einen Nachforderungsaufforderungsprozess in einer Bank beziehen (der 260.000 E-Mails enthält), können Sie sehen, dass wahrscheinlich 237.551 der 260.000 Nachrichten mindestens eine der ausgewählten Beschriftungen vorhergesagt werden. Dies zeigt eine gute Abdeckung von ca. 91,4 % an.

Dies sollte nicht Ihre einzige Überprüfung sein, um die Gesamtabdeckung Ihres Modells zu testen. Das zuverlässigste Maß für die Abdeckung für das gesamte Dataset wird in der Modellbewertung (wie oben erläutert) dargestellt und sollte in Verbindung mit der Gesamtleistung der Bezeichnungen in der Taxonomie betrachtet werden.