Verbesserung des Abgleichs und Verwendung des Abgleichs

Hinweis: Sie müssen die Berechtigungen Quelle – Lesen und Dataset – Überprüfen als Automation Cloud-Benutzer oder die Berechtigungen Anzeigen Quellen anzeigen und Überprüfen und Kommentieren als Legacy-Benutzer zugewiesen haben.

Ausgewogenheit: Einführung und Wichtigkeit

Die Ausgewogenheitsbewertung , die in der Modellbewertung in der Validierung dargestellt wird, spiegelt wider, wie ausgewogen die überprüften Daten (d. h. die Trainingsdaten) in einem Dataset im Vergleich zum Dataset als Ganzes sind.

Es berücksichtigt eine Reihe von Faktoren, die dazu beitragen, darunter:

• Die Ähnlichkeit der überprüften Daten mit den nicht überprüften Daten, angezeigt als Prozentzahl.
• Der Anteil der überprüften Daten, die durch zufällige Stichproben überprüft wurden, d. h. Mischmodus.
• Der Anteil der Daten, die mit Erneuter Ausgleich überprüft wurden.
• Der Anteil der Daten, die während der Verwendung der Textsuche überprüft wurden.

Ein Beispiel für „Gleichgewicht“-Komponente der Modellbewertung

Es ist wichtig, dass der Anteil der durch zufällige Stichproben überprüften Daten hoch ist (idealerweise 20 %+) und der Anteil der überprüften Daten, die mit der Suche mit Anmerkungen versehen wurden, niedrig ist.

Die Ausgewogenheitsbewertung wird jedoch am meisten vom Ähnlichkeitswert beeinflusst, der die Ähnlichkeit der nicht überprüften Daten mit den überprüften Daten misst.

Dieser Ähnlichkeitswert wird von einem proprietären Modell für Anmerkungsverzerrungen berechnet, das die überprüften und nicht überprüften Daten vergleicht, um sicherzustellen, dass die Daten mit Anmerkungen für das gesamte Dataset repräsentativ sind. Wenn die Daten nicht repräsentativ sind und verzerrt mit Anmerkungen versehen wurden, können Leistungsmessungen für Modelle irreführend und möglicherweise unzuverlässig sein.

Die Verzerrung von Anmerkungen in der Plattform ist in der Regel das Ergebnis eines Ungleichgewichts der Trainingsmodi, die zum Zuweisen von Beschriftungen verwendet werden, insbesondere wenn zu viel „Textsuche“ und zu wenig „Mischen“ verwendet wird. Es kann jedoch weiterhin auftreten, auch wenn ein hoher Anteil des Mischmodus verwendet wird. Das Training bestimmter Beschriftungen in Modi wie „Teach Label“ kann natürlich zu einem leichte Ungleichgewicht in den überprüften Daten führen. Die Plattform hilft Ihnen, dies zu erkennen und schnell und effektiv zu beheben.

Neuausgleich: Einführung und Nutzung

Der Neuausgleich ist ein Trainingsmodus, der dazu beiträgt, die potenziellen Ungleichgewichte in der Art und Weise zu reduzieren, wie ein Modell mit Anmerkungen versehen wurde, d. h. Anmerkungsverzerrungen, die bedeuten, dass die überprüften Daten für das gesamte Dataset nicht so repräsentativ sind, wie sie sein könnten.

Der Trainingsmodus Neuausgleich zeigt Nachrichten an, die im überprüften Satz unterrepräsentiert sind.

Wenn Sie die in diesem Modus angezeigten Nachrichten mit Anmerkungen versehen (wie in jedem anderen Trainingsmodus, können Sie Ungleichgewichte in den Trainingsdaten beheben und die Ausgewogenheitspunktzahl des Modells verbessern.

Tipp: Die Neuausgleich ist in der Regel am effektivsten, wenn sie nur selten und oft verwendet wird. Wenn Sie eine kleine Anzahl von Nachrichten, zwischen 10 und 20, in diesem Modus mit Anmerkungen versehen und das Modell erneut trainieren lassen, bevor es aktualisiert und weitere Beispiele mit Anmerkungen versehen werden, ist dies der beste Weg, um die Auswirkung auf die Ausgewogenheitsbewertung des Modells zu maximieren.

Der Trainingsmodus „Neuausgleich“ für ein Demo-Dataset

Wenn Sie feststellen, dass Sie einen hohen Ähnlichkeitswert haben, aber die Ausgewogenheitsbewertung immer noch niedrig ist, liegt dies wahrscheinlich daran, dass Sie nicht genügend Trainingsdaten im Mischmodus mit Anmerkungen versehen haben. In diesem Fall schlägt die Plattform vor, eine zufällige Auswahl von Nachrichten als empfohlene Aktion mit Anmerkungen zu versehen. Das Training in diesem Modus gibt der Plattform zusätzliche Sicherheit, dass das Dataset nicht verzerrt mit Anmerkungen versehen wurde und dass die Trainingsdaten ein repräsentatives Beispiel sind.

Der zu verwendende Neuausgleich

Sie sollten den Neuausgleich weiterhin iterativ verwenden, um den Ähnlichkeitswert für Ihr Modell zu verbessern, was wiederum Ihre Ausgewogenheitsbewertung erhöht.

Sobald in der Validierung die Bewertung Gut erreicht ist, liegt es an Ihnen, um wie viel mehr Sie den Ähnlichkeitswert erhöhen möchten, bevor Sie das Training im Reausgleich beenden.

Sie können versuchen, diese Bewertung so weit wie möglich zu optimieren, aber kontinuierliches Training wird immer zu sinkenden Renditen führen. Eine Gut -Bewertung sollte in der Regel als akzeptable Leistung für ein gutes Modell betrachtet werden.