Wann das Training Ihres Modells beendet werden soll

Dank der umfassenden Validierungsfunktionen der Plattform, einschließlich der Modellbewertungsfunktion , ist es jetzt relativ einfach zu verstehen, wann das Training Ihres Modells beendet werden muss.

Das erforderliche Leistungsniveau für Ihr Modell liegt bei Ihnen und Ihrem Unternehmen. Die Modellbewertung der Plattform gibt Ihnen jedoch einen guten Einblick in die Leistung Ihres Modells und wie Sie es bei Bedarf verbessern können.

Ein Modell mit einer Punktzahl von 70 oder höher wird als „ Gut“ eingestuft, während eine Punktzahl von 90 erforderlich ist, damit ein Modell als „ Ausgezeichnet“ eingestuft wird.

In jedem Anwendungsfall empfehlen wir immer, Folgendes sicherzustellen, bevor Sie das Training beenden:

• Dass Ihr Modell mindestens eine Gesamtpunktzahl hat, die die Bewertung „Gut“ liefert, da dies bedeutet, dass die Plattform das Modell insgesamt als relativ in Ordnung hält
• Dass jeder der einzelnen Faktoren auch eine Bewertung von mindestens „ Gut“ hat (wie unten gezeigt)

• Dass keine Ihrer wichtigen Beschriftungen roteoder gelbe Leistungswarnungen aufweist

Bei einem analyseorientierten Modell sollte es neben den oben aufgeführten Faktoren im Ermessen des Modelltrainers liegen, inwieweit er die Leistung seines Modells optimieren möchte. Die Leistungsanforderung kann von verschiedenen Faktoren abhängen, einschließlich der Ziele des Anwendungsfalls und der Fähigkeit des Modelltrainers, das Training fortzusetzen.

Wenn Sie ein Modell erstellen , das Automatisierungen ermöglichen soll, wird empfohlen , dass Ihr Modell dieBewertung „Ausgezeichnet “ hat und dass das Modell auch mit Live-Daten getestet wird, bevor es in der Produktion eingesetzt wird.

Beispielmodellbewertung für ein äußerst fehlerfreies Modell

Zusätzliche optionale Leistungsprüfungen

Obwohl es sich bei der Modellbewertung um eine umfassende Leistungsbewertung handelt, möchten Sie möglicherweise einige zusätzliche Überprüfungen durchführen, um sicherzustellen, dass Sie mit der Leistung Ihres Modells voll und ganz zufrieden sind.

Wenn dies der Fall ist, finden Sie hier einige nützliche Überprüfungen, die Sie mit empfohlenen Aktionen durchführen können. Es ist erwähnenswert, dass die Plattform, wenn sie der Meinung ist, dass es für Sie wichtig ist, eine dieser Aktionen durchzuführen, diese auch in der Validierung empfiehlt.

Prüfen (Check)	Prozess	Auszuführende Aktionen
Vorhersageüberprüfung für einen Zeitraum von zwei Tagen	Überprüfen Sie die Vorhersagen für die letzten Daten im Wert von 1–2 Tagen: Verwenden Sie den Zeitfilter und „Aktuell“ in der Dropdownliste, um Daten im Wert von 2 den letzten Tagen auszuwählen. Überprüfen Sie die Vorhersagen und stellen Sie sicher, dass jede Nachricht eine Vorhersage mit relativ hoher Konfidenz hat. Durch die Überprüfung von Daten im Wert von 1–2 Tagen sollte sichergestellt werden, dass alle potenziellen Konzepte abgedeckt sind	‑ Wenn es Nachrichten ohne Vorhersagen oder mit unzureichender Konfidenz gibt, kommentieren Sie sie wie gewohnt * Trainieren Sie dann weiter mit Mischen und niedriger Konfidenz
Mischen	Überprüfen Sie Vorhersagen in Mischen für mindestens 5 Seiten. Jede Nachricht sollte eine Beschriftung haben, die mit einer ausreichend hohen Konfidenz vorhergesagt wird	‑ Wenn es Nachrichten ohne Vorhersagen oder mit unzureichender Konfidenz gibt, kommentieren Sie sie wie gewohnt * Trainieren Sie dann weiter mit Mischen und niedriger Konfidenz
Niedrige Konfidenz	Der Modus mit niedriger Konfidenz zeigt Ihnen Meldungen an, die von informativen Label-Vorhersagen nicht gut abgedeckt werden. Diese Nachrichten haben entweder keine Vorhersagen oder Vorhersagen mit sehr geringer Konfidenz für Beschriftungen, die die Plattform als informativ versteht.	* Wenn Nachrichten nicht behandelt wurden, fügen Sie eine neue Beschriftung für sie hinzu und trainieren Sie wie gewohnt * Wenn Sie eine Nachricht für eine vorhandene Beschriftung finden, wenden Sie sie wie gewohnt an
'Erneut entdecken'(siehe unten)	Wenn Sie zu Discover zurückkehren, können Sie potenzielle neue Cluster anzeigen, bei denen die Wahrscheinlichkeit der Anwendung einer Bezeichnung niedrig ist. Dies sollte verwendet werden, um sicherzustellen, dass Sie keine potenziellen Beschriftungen übersehen haben, oder um vorhandene Beschriftungen mit vielfältigeren Beispielen bereitzustellen, ähnlich wie bei „Niedrige Konfidenz“.	* Wenn es Cluster ohne Vorhersagen (oder mit sehr niedriger) gibt, kommentieren Sie den Cluster entweder mit einer neuen oder ggf. mit einer vorhandenen Beschriftung Trainieren Sie jede neue Bezeichnung wie gewohnt

„Erneut entdecken“

„Erneut entdecken“ ist ein Schritt, der jederzeit während des Trainingsprozesses wiederholt werden kann, aber auch nützlich sein kann, wenn Sie überprüfen, ob Sie ausreichend trainiert haben.

Diese Überprüfung bedeutet im Wesentlichen nur, zur Seite „Discover“ im „Cluster“-Modus zurückzukehren und die Cluster dort zu überprüfen, um ihre Vorhersagen zu überprüfen und zu sehen, ob Discover Cluster gefunden hat, die bei Ihrem Training möglicherweise übersehen wurden.

Da die Cluster in Discover erneut trainiert werden, nachdem eine beträchtliche Menge an Training in der Plattform abgeschlossen wurde (180 Anmerkungen) oder dem Dataset eine beträchtliche Datenmenge hinzugefügt wurde (1000 Meldungen oder 1 %, je nachdem, welcher Wert höher ist, und mindestens 1 Anmerkung ), sollten sie während des gesamten Trainingsprozesses regelmäßig aktualisiert werden.

Discover versucht , Cluster zu finden, die von Bezeichnungsvorhersagen nicht gut abgedeckt werden. Wenn es in Discover Cluster gibt, die bestimmte Beschriftungen vorhergesagt haben sollten, dies aber nicht der Fall ist, müssen Sie für diese Beschriftungen noch etwas trainieren. Hier erfahren Sie, wie Sie Cluster in Discover kommentieren können.

Wenn Ihr Modell gut trainiert ist, hat Discovery Schwierigkeiten, Cluster mit geringer Konfidenz oder ohne Vorhersagen zu finden. Wenn Sie sehen, dass jeder der Cluster in Discover eine relativ hohe Konfidenz und korrekte Vorhersagen aufweist, ist dies ein guter Indikator dafür, dass Ihr Modell das Dataset gut abdeckt.