Aktives Lernen: Bessere ML-Modelle in weniger Zeit

Ein Machine Learning-Modell von Grund auf zu trainieren ist schwierig. Es gibt ein häufiges Missverständnis, dass die Erstellung des Modells selbst der schwierigste Teil des Trainings eines Modells ist. In Wirklichkeit ist der Datenerfassungs- und Anmerkungsprozess viel schwieriger, als viele annehmen.

Die Bestimmung, welche Konzepte das Modell lernen soll, das Sammeln der Daten, die Anmerkungen durch Experten (SMEs) und die Sicherstellung der Konsistenz, um die Qualität der Anmerkungen sicherzustellen – all das sind Prozesse, die zeitaufwändig sind und die Zusammenarbeit zwischen verschiedenen Teams und Beteiligten erfordern.

Diese erhebliche Zeitsenke verzögert die Amortisierung des Werts, den Sie durch Machine Learning erzielen sollten. Darüber hinaus ist sie oft ein Problem bei der Nutzung ML-gesteuerter Werte durch Analysen und Automatisierung. Der Unterschied zwischen der verkörperten und tatsächlichen Schwierigkeit von Datenanmerkungen führt dazu, dass ML-Projekte aufgrund von falsch eingeschätzten Zeitbeschränkungen fehlschlagen. Wenn die Verwendung von Machine Learning eine Reise ist, ist das so, als ob Sie ohne Karte abgehen, sich verlieren und aufgeben, bevor Sie das Ziel erreichen.

In diesem Blogbeitrag sprechen wir über eine Möglichkeit, diese Probleme zu entschärfen: Aktives Lernen, das das Herzstück der Communications Mining-Plattform ist.

Was ist Active Learning?

​Active Learning in aller Kürze​

Im Kern besteht Active Learning aus einer Reihe von Methoden, welche die Datenmenge reduzieren sollen, die zum Trainieren eines Machine Learning-Modells erforderlich ist. Es ist ein iterativer Prozess, bei dem menschliche Annotatoren und das Modell zusammenarbeiten. Die grundlegende Idee ist, dass nicht alle Datenpunkte gleich aussagekräftig sind. Intuitiv kann ein guter Tutor einen Stundenplan erstellen, der für einen Teilnehmer am besten funktioniert, anstatt ihn das gesamte Textbuch durchgehen zu lassen.

• Einfache Konzepte erfordern weniger Daten, um gut zu lernen als schwierigere
• Wenn es unterschiedliche Möglichkeiten gibt, dieselbe Idee auszudrücken, ist es sinnvoller, dem Modell eine Vielzahl von Beispielen zu zeigen, als dieselbe Sprache mehrmals zu verwenden
• Sobald ein Modell ein Konzept zuversichtlich verstanden hat, ist es viel wertvoller, es mit anderen Konzepten zu trainieren, als es mit mehr Daten zu füllen, die nur dazu beitragen, sein Verständnis zu festigen

Es gibt viele spezifische Methoden für Active Learning, aber sie alle basieren auf der Definition eines Begriffs der Modellunsicherheit, der quantifiziert, wie sicher das Modell in seinen Vorhersagen ist. Sie finden Implementierungen und Beschreibungen einer Vielzahl gängiger unsicherer Metriken in der Python-Bibliothek von modAL oder erfahren in dieser Übersichtsarbeit mehr über die Active Learning-Forschung. Wir empfehlen, sich beide anzusehen.

Die klassische Active Learning-Schleife sieht folgendermaßen aus:

Ein Flowchart, das die standardmäßige Active Learning-Schleife darstellt

Durch iteratives Kommentieren nur der Datenpunkte, die für das Modell am informativsten sind, und durch schnelle Iteration kann der Aufwand für das Erzielen identischer Leistung erheblich reduziert werden.

Aber das ist genug der Idee. Lassen Sie uns diese in die Praxis umsetzen.

Das Reuters -Dataset​

Zu Demonstrationszwecken verwenden wir das öffentlich verfügbare Reuters-Korpus, das vom NLTK bereitgestellt wird. Es handelt sich um eine Sammlung von 10.788 Nachrichtenartikeln, die mit 90 Kategorien versehen sind, und jeder Artikel kann ein oder mehrere Tags haben.

Beispielsweise wurde der folgende Artikel mit grain, ship und wheat.

Französische Export Exporteure sehen HÖhere WEIzenVERKÄUFE NACH AICHE

Französische Exporteure schätzen, dass im Jahr 1986/87 (Juli/Juni) rund 600.000 to. Zwischen Juli 1986 und Februar dieses Jahres wurden rund 300.000 Stunden nach China exportiert. Weitere 100.000 bis 150.000 Stunden werden in diesem Monat und etwa die gleiche Menge im April verladen, heißt es. Frankreich verkaufte 1985/86 nach Angaben des Importes und Exports insgesamt 250.000 t Feinweizen an China. Einige Exporteure befürchten jedoch, dass China auf einen Teil seines Vertrags mit Frankreich kündigen könnte, nachdem ihm im Januar im Rahmen des Export Enhancement Program eine Million Kubikzent US-Weichweizen angeboten wurden und einige Käufe im Rahmen der Initiative getätigt wurden.

Unsere bereinigten/verarbeiteten Daten finden Sie hier. Probieren Sie es selbst aus!

Ein einfacher Active Learning- Vergleich​

Vergleichen wir die Active Learning-Strategie von Communications Mining mit der Zufallsauswahl aus dem Trainingssatz, der die Standardbasis für die Datenerfassung ist.

Für alle Experimente ist unser Setup:

• Wir wählen die 20 gängigsten Tags aus und lernen nur diese
• Für unsere Trainings-/Testaufteilung verwenden wir die vom Dataset bereitgestellte
• Wir melden den Mittelwert und die Standardabweichung für 10 Ausführungen
• Das zugrundeliegende Machine-Learning-Modell ist genau identisch, der einzige Unterschied ist die Anmerkungsstrategie

Beide Methoden beginnen mit den gleichen 100 zufällig ausgewählten Beispielen – dem Anfangssatz. Active Learning benötigt eine kleine Menge an Anfangsdaten, um zuverlässige Schätzungen der Ungewissheit zu erhalten, bevor wir sie zur Steuerung des Trainingsprozesses verwenden können. In der Praxis wird dieser Anfangssatz normalerweise mithilfe von Clustern auf der Seite „Erkennen“ in Communications Mining erstellt. Um den Vergleich jedoch so korrekt wie möglich zu gestalten, verwenden wir in diesem Beitrag den gleichen zufälligen Anfangssatz für beide Methoden.

Für Active Learning wählen wir iterativ die 50 informativen Beispiele aus, die von der Communications Mining Active Learning-Strategie geschätzt werden, trainieren dann ein Modell erneut und wiederholen es. Für die Basis wählen wir bei jeder Iteration zufällig 50 Beispiele aus den verbleibenden nicht-kommentierten Daten aus.

Bei jedem Zeitschritt vergleichen wir die Leistung beider Modelle bei genau demselben Testsatz und verwenden die Mean Average Präzision (MAP) als primäre Metrik.

Active Learning ermöglicht es Modellen, eine höhere Leistung mit weniger Beispielen zu erreichen. Schattierte Bereiche stellen +/- 2σ dar

Hinweis:

Active Learning ist eindeutig besser als die zufällige Basis. Letzteres erreicht nach 3050 Trainingsbeispielen 80 % MAP, während das Active Learning-gesteuerte Training dies nach nur 1750 Beispielen oder einer Verringerung um das 1,7- Fache erreicht.

Wir haben empirisch gezeigt, dass Active Learning die Datenanforderungen reduzieren kann, um ein gutes Modell zu erstellen. Aber ist das wirklich das, was wir erreichen möchten?

Das Ziel wird überdacht

Wir glauben, dass das eigentliche Ziel von Active Learning darin bestehen sollte, die Zeit zu verkürzen, die erforderlich ist, um ein gutes Machine Learning-Modell zu erstellen. Diese Zeit konzentriert sich auf die Koordinierung verschiedener Teams und die Verwaltung von Zeitplänen, der Modellentwicklung und -schulung durch Datenspezialisten und der Datenanmerkung durch KMUs.

Fehler im aktiven Lernen an der Schule​

Die meisten Forschungsergebnisse zu Active Learning zielen darauf ab, Methoden zu entwickeln, welche die Datenanforderungen für ein Modell weiter reduzieren. Sie treffen in der Regel Annahmen, die in der Praxis nicht unbedingt korrekt sind.

Annotatoren benötigen nicht die gleiche Zeit, um alle Eingaben zu beschriften​

Wenn nur die Anzahl der Trainingspunkte reduziert werden soll, wird ignoriert, dass die Zeit zum Kommentieren verschiedener Eingaben selbst bei derselben Person erheblich variiert. Eingaben mit längerem Text oder komplizierterer Formalität brauchen länger zum Lesen. Eingaben mit mehr Konzepten benötigen länger zum Kommentieren, da man beim Durchlesen des Textes viele verschiedene Themen nachverfolgen muss.

Zudem verursacht der Kontextwechsel Kosten. Wenn Sie einen Beschrifter bitten, dasselbe Konzept 20 Mal hintereinander zu kommentieren, ist dies schneller als 20 verschiedene Konzepte zu kommentieren, da der Annotator ständig den Kontext wechseln muss und nicht in einen guten Flow für die Anmerkungen finden kann.

Es kann irreführend sein, nur die Anzahl der mit Anmerkungen versehenen Beispiele zu betrachten. Wenn eine Eingabe nur halb so informativ ist, aber zehnmal schneller zu kommentieren ist als eine andere, ist die Anmerkung in Bezug auf die aktive SME-Zeit ein besserer Vergleich. Letztendlich ist dies die wichtigste Metrik, die es zu minimieren gilt.

Annotatoren sind nicht gut in die Schleife integriert​

Bei der Active Learning-Forschung wird davon ausgegangen, dass die Aufforderung an einen Annotator, eine Eingabe zu beschriften, die vom zuletzt trainierten Modell erkannt wurde, sofort erfolgen kann. In dieser Welt ist der menschliche Annotator fest in die Active Learning-Schleife integriert und wartet nur darauf, eine Eingabe zum Kommentieren zu erhalten, wie eine Anmerkungsmaschine.

In der Realität sind die KMUs, die für die Anmerkungen von Daten verantwortlich sind, jedoch selten die gleichen Personen, die das Modelltraining kontrollieren. Jede Iteration erfordert eine Koordinierung zwischen KMUs und Datenspezialisten, um die Daten hin und her zu übergeben und Zugriff auf das neue Modell bereitzustellen, das mit den vollen Kalendern aller Mitarbeiter synchronisiert wird.

Das erneute Modelltraining erfolgt nicht sofort​

Da Active Learning viele Iterationen erfordert, um das Modell optimal zu verbessern, wird gängig angenommen, dass das erneute Training eines Modells sofort erfolgt und dass die einzige zeitaufwendige Aktivität die Datenkommentarierung ist. Wenn das erneute Training des Modells jedoch von einem separaten Data Science-Team gesteuert wird oder von einer hochmodernen Cloud-Lösung wie Google AutoML bereitgestellt wird, kann das erneute Training eines Modells tatsächlich viel Zeit in Anspruch nehmen. Google AutoML schätzt, dass das Training eines Modells 6–24 Stunden dauert. Dies ist grundsätzlich nicht mit schnellen Iterationen kompatibel. Wenn KMUs jedes Mal, wenn sie eine Batch beschriften, 6 Stunden warten müssen, bevor sie die nächste Batch erhalten, dann dauert das Training eines Modells Wochen, wenn nicht Monate.

KMUs wissen nicht, wann sie mit dem Training aufhören sollen​

Um Benchmarks festzulegen und ähnliche Forschungsergebnisse zu erzeugen, wird die Leistung in der Regel mit einem genau definierten Testsatz verglichen. Das ist für die unformatierte Forschung notwendig. In der Praxis existiert ein solcher Testsatz jedoch nicht, da wir überhaupt keine Daten haben, die mit Anmerkungen versehen sind. Es ist eine schwierige Aufgabe zu wissen, wann das Modell genügend Leistung erreicht hat, um in der Produktion verwendet zu werden, und wann KMUs also aufhören können, mehr Daten zu kommentieren und stattdessen einen Nutzen zu ziehen.

Academic-Datasets haben einen bekannten Satz von Beschriftungen, die sie lernen möchten, was die Genauigkeit der Testsätze zu einem guten Indikator für den Fortschritt macht. In der Praxis sind sich KMUs oft nicht sicher, welche Konzepte in ihren Daten vorhanden sind und entdecken beim Kommentieren neue. Ein guter Fortschrittsbericht muss diese Ungewissheit berücksichtigen.

Active Learning für die Praxis​

Bei Communications Mining haben wir ein Produkt entwickelt, das diese Annahmen in Frage stellt und der Realität des Trainings eines Machine Learning-Modells in einer Geschäftsumgebung mit mehreren Stakeholdern und schwierigen Anforderungen Rechnung trägt.

Die Communications Mining-UI wurde entwickelt, um KMUs dabei zu helfen, Daten so schnell wie möglich zu kommentieren. Die Benutzeroberfläche zeigt vorgeschlagene Beschriftungen basierend auf den neuesten Modellvorhersagen an, sodass Benutzer Vorhersagen schnell zuweisen oder verwerfen können, anstatt aus dem gesamten Beschriftungssatz auswählen zu müssen. Je besser das Modell wird, desto besser werden die Vorschläge, sodass Annotatoren immer schneller mehr Daten überprüfen können.

Die Zuweisung der ersten drei Beschriftungen für diesen Artikel ist viel schneller als die vierte, die nicht vorgeschlagen wurde. Die Vorhersagen helfen dem SME auch zu wissen, was zu erwarten ist, noch bevor es mit dem Lesen beginnt, und der Kontext wird ihm im Denken eingeblendet.

Der zweite Schlüsselfaktor ist, dass Communications Mining-Modelle schnell zu trainieren sind und durchschnittlich zwei Minuten oder weniger dauern. Modelle werden kontinuierlich im Hintergrund trainiert, ausgelöst durch KMUs, die Daten kommentieren.

Die Plattform wird immer mit dem neuesten verfügbaren Modell ausgestattet, sodass die Active Learning-Schleife weiterhin mit dem vorherigen Modell funktioniert, während ein Modell trainiert. Kontinuierliches erneutes Training im Hintergrund bedeutet, dass Ausfallzeiten aufgrund von erneutem Modelltraining effektiv beseitigt werden und alles nahtlos integriert wird.

Die Bewertung des Communications Mining-Modells​

Die Active Learning-Strategie von Communications Mining wird durch die Modellbewertung bestimmt. Die treibende Idee dahinter ist eine ganzheitliche Bewertung, die leicht verständlich ist und sowohl einen Überblick darüber gibt, wie gut das Modell funktioniert als auch, wie es am besten verbessert werden kann.

Es zeigt vier Achsen an, anhand derer das Modell ausgewertet werden kann:

• Balance verfolgt, wie gut die Trainingsdaten für ein Modell das Dataset als Ganzes darstellen

• Mit der Abdeckung wird verfolgt, wie genau die Konzepttaxonomie alle Konzepte in den Daten abdeckt

• Mit Alle Beschriftungen wird die Vorhersageleistung für jede Bezeichnung verfolgt

• Understanding Labels verfolgt die Vorhersageleistung der Bezeichnungen mit der niedrigsten Leistung. In einem perfekten Dataset sollten selbst die Beschriftungen mit der niedrigsten Leistung gut funktionieren

Die letzten beiden sind der unformatierten Testsatzleistung sehr ähnlich, obwohl sie so geändert wurden, dass sie aus den verfügbaren überprüften Daten anstelle eines apriorisch bekannten Testsatzes geschätzt werden. Die ersten beiden sind so konzipiert, dass sie potenzielle Fallstricke iterativer Anmerkungen mit einem sich ständig weiterentwickelnden Satz von Beschriftungen verringern. Interessierte Leser können mehr darüber erfahren, indem sie unsere kommenden Blog-Beiträge zum Thema Guthaben und Abdeckung lesen.

Wir kombinieren all diese Faktoren in einer einzigen Punktzahl, der Modellbewertung. Dadurch wird versucht, die Frage zu beantworten, wann das Training beendet werden soll, indem eine endgültige Punktzahl bereitgestellt wird, die zur Verfolgung des Fortschritts verwendet werden kann.

Zu jedem Faktor werden Aktionen zur Verbesserung empfohlen, sowie einige indikative Mitwirkende, die zum Verständnis der Faktorbewertung beitragen.

Die Bereitstellung einer Reihe von Aktionen, die mit dem verknüpft sind, was sie verbessern möchten, hilft den Benutzern, die Bereiche besser zu verstehen, in denen das Modell fehlt, und gibt ihnen mehr Kontext beim Kommentieren. Benutzer über ihr Modell zu informieren und sie gleichzeitig aufzufordern, es zu verbessern, ist eine empathischere Möglichkeit, Daten zu kommentieren, anstatt KMUs wie Oracle-Anmerkungsmaschinen zu behandeln. Wenn Sie ihnen mehrere Optionen zur Verbesserung des Modells auf der Achse geben, die ihnen am wichtigsten ist, haben sie mehr Entscheidungsspielraum und haben eine weniger frustrierende Erfahrung.

Hinweis:

Für KMUs ist es besser, viele, etwas weniger informative Eingaben mit Leichtigkeit zu kommentieren, als sich Gedanken über das Kommentieren sehr harter Eingaben zu machen und nach nur ein paar Beispielen aufzuhören.

Aktionen werden so gruppiert, dass KMUs bei der Durchführung einer Aktion versuchen, einen bestimmten Bereich eines Modells zu verbessern. Kontextwechsel, Aufwand, Frustration und Zeitaufwand für das Kommentieren werden minimiert.

Bessere Modelle in erheblich kürzerer Zeit

Gehen wir zurück zum Reuters-Dataset, aber aktualisieren Sie unseren früheren Vergleich in Bezug auf Arbeitsstunden anstelle von Datenpunkten.

Wie schnell kann man kommentieren ?​

Dazu müssen wir ermitteln, wie lange es durchschnittlich dauert, eine Eingabe zu kommentieren. Wir haben das Verhalten unserer Benutzer bei der Nutzung der Plattform untersucht, um dies abzuschätzen, und festgestellt, dass die beiden wichtigsten Faktoren, die die Geschwindigkeit der Anmerkung bestimmen, sind, ob Beschriftungen vorhergesagt werden und ob die Aufgabe einen Kontextwechsel erfordert.

In der Communications Mining-Plattform werden bei einigen Trainingsansichten wie z. B. Mischen, Niedrige Konfidenz, Zuletzt verwendet und Neu ausbalancieren Eingaben angezeigt, die nicht nach einem bestimmten Thema gruppiert sind, was zu häufigen Kontextwechseln führt. Andere, wie Entdecken ( Discover), Beschriftung lernen ( Teach Label ) oder das Sortieren nach einer bestimmten Wahrscheinlichkeit der Bezeichnung, zeigen Eingaben an, die alle miteinander zusammenhängen, und sorgen so für eine gezieltere Erfahrung.

Die folgende Tabelle zeigt die geschätzte durchschnittliche Zeit pro Anmerkung in Sekunden, aufgeschlüsselt nach diesen beiden Faktoren.

	Manuelles Zuweisen	BESTÄTIGEN Vorhersagen
Kontextwechsel	7.10	2.95
Konzentriert	5.56	2.66

Wir beobachten, dass das Bestätigen von Vorhersagen viel schneller ist als das manuelle Zuweisen von Beschriftungen, und dass die zufällige Anmerkung ohne Tool über 2,5-mal langsamer sein kann als das Bestätigen von Vorhersagen in einem dedizierten Tool! Aber auch ohne Vorhersagen ist eine fokussierte Aufgabe durchschnittlich 22 % schneller als eine, bei der ein Kontextwechsel erforderlich ist.

Weitere Informationen folgen in unserem Blog-Beitrag, in dem wir uns eingehend mit diesen Daten befassen und herausfinden, was die Vorteile einer schnellen Anmerkungserfahrung auslöst.

Anhand dieser Daten können wir die aktiven menschlichen Stunden abschätzen, die zum Erstellen eines guten Modells erforderlich sind.

Vergleichen von Strategien nach aktiver Anmerkungszeit​

Kehren wir zu unserem ursprünglichen Vergleich zurück. Um die Auswirkungen verschiedener Faktoren vollständig zu verstehen, untersuchen wir zusätzlich zu den beiden zuvor verglichenen Methoden drei zusätzliche Szenarien.

• Active Learning von Communications Mining, das wir in unserem vorherigen Vergleich verwendet haben. Geführt von der Modellbewertung beschriften wir bei jedem Schritt die ersten zehn Beispiele aus jeder der fünf wichtigsten Aktionen, bevor wir das Modell erneut trainieren. In der Praxis wird das Retraining der Communications Mining-Modelle in der Regel abgeschlossen, bevor 50 neue Anmerkungen bereitgestellt werden, sodass das Modell in der Praxis aktueller wäre als in unserer Simulation.

• Aktives Lernen ohne Vorschläge, das die Communications Mining-Strategie verwendet, aber keine dedizierte Anmerkungs-UI, die Anmerkungen durch das Auftauchen von Vorhersagen beschleunigt.

• Zufallsauswahl ohne Vorschläge, die unsere Basis im vorherigen Vergleich war. Bei jedem Zeitschritt wählen wir zufällig 50 der verbleibenden Kandidaten ohne Anmerkungen aus und verwenden keine dedizierte Anmerkungs-UI.

• Zufällige Stichprobe mit Vorschlägen, identisch mit der vorherigen Strategie, aber erweitert um eine spezielle UI für Anmerkungen.

• Zufälliges Batch-Lernen, wie es in einer Situation zu erwarten wäre, in der KMUs nicht fest in den Active Learning-Prozess integriert sind und keinen Zugang zu geeigneten Tools wie der Communications Mining-Benutzeroberfläche haben. In dieser Situation gehen wir davon aus, dass das Modelltraining ein langer Prozess ist und dass die Anmerkungen daher in großen Batches erfolgen, um Trainingszeit zu sparen. Bei jedem Zeitschritt wählen wir zufällig 1000 neue Eingaben aus und kommentieren sie.

Zuerst untersuchen wir, was passieren würde, wenn wir nur die aktive Zeit der KMUs betrachten würden, wenn sie am Computer arbeiten und Daten für das Modelltraining kommentieren.

Leistung jeder Anmerkungsstrategie in Bezug auf die aktive SME-Zeit. Schattierte Bereiche stellen +/- 2σ dar

Wir beobachten, dass sowohl dedizierte Anmerkungstools als auch Active Learning einzeln erhebliche Verbesserungen im Vergleich zur zufälligen Basis liefern. Die Kombination von aktivem Lernen mit guter UX ermöglicht es uns, sowohl die Dateneffizienz zu verbessern als auch die Zeit zu reduzieren, die zum Beschriften jeder Eingabe erforderlich ist, wodurch beide Vorteile kombiniert und zu noch höheren Geschwindigkeiten führt.

Die Zwischenszenarien sind jedoch etwas künstlicher Intelligenz. In der Realität wird ein Unternehmen, das Machine Learning nutzen möchte, wahrscheinlich entweder ein Tool wie Communications Mining kaufen, das über beide Funktionen verfügt, oder ein internes Proof-of-Concept erstellen, das dem Random Batch-Szenario viel näher kommt. Daher konzentrieren wir uns bei unseren nachfolgenden Vergleichen auf Communications Mining und Random Batch.

Wir vergleichen das Zeit-Delta zwischen beiden Szenarien, was ein Modell ergibt, das 80 % MAP erreicht.

Leistung der Communications Mining-Anmerkungsstrategie und der zufälligen Batch-Anmerkung bei aktiver SME-Zeit. Schattierte Bereiche stellen +/- 2σ dar

Hinweis:

Communications Mining liefert im Vergleich zu Random Batch-Anmerkungen eine 3,1-fache Geschwindigkeit, sodass KMUs die erforderliche MAP in 3 Stunden statt 9 Stunden und 25 Minuten erreichen können. Das ist der Unterschied zwischen einem Vormittag und anderthalb Arbeitstagen, die für das Kommentieren aufgewendet werden!

Geschätzte Zeit bis zum Wert​

Die vorherige Schätzung ist noch relativ optimistisch, da sie nur den Zeitpunkt betrachtet, zu dem KMUs aktiv Anmerkungen machen. Die Zeit als aktiver SME ist zwar ein wichtiger Faktor, der zu berücksichtigen ist, aber die Zeit bis zur Wertschöpfung eines Machine Learning-Projekts wird auch in der Installationszeit bzw. in der Zeit in Tagen zwischen dem Start eines Projekts und der Auslieferung eines Modells gemessen, das es wert ist, verwendet zu werden. Bei der Berücksichtigung der Videowandzeit müssen wir andere Faktoren berücksichtigen.

Wie bereits erwähnt, kann die Trainingszeit bis zu 24 Stunden dauern, wenn sie von einer Cloud-Lösung eines Drittanbieters wie Google AutoML bereitgestellt wird. In einem aktuellen Vergleich der Communications Mining-Modelle mit AutoML haben wir festgestellt, dass das Training für 400–5000 Beispiele in der Regel etwa 4 Stunden dauerte, sodass wir dies als Schätzung verwenden.

Darüber hinaus muss das Modelltraining auch bei Verwendung einer Cloud-ML-Lösung von einem internen Data-Science-Team ausgelöst werden. In dieser Situation umfasst jede AnmerkungsRude die folgenden Schritte:

1. Erfassen Sie Daten von allen KMUs, die an der Anmerkung beteiligt sind
2. Senden Sie die Daten an das Data-Science-Team
3. Datenspezialisten überprüfen manuell, ob die neuen Daten richtig formatiert sind und dass alle erforderlichen Felder ausgefüllt wurden
4. Bitten Sie KMUs möglicherweise, Probleme in den Daten zu beheben
5. Führen Sie die vorhandenen Daten mit dem neu gesammelten Satz zusammen
6. Trainieren Sie ein neues Modell
7. Validieren Sie die Leistung des neuen Modells und stellen Sie sicher, dass die Trainingsausführung erfolgreich beendet wurde
8. Verwenden Sie das neue Modell, um einen neuen Batch von nicht kommentierten Daten abzurufen, die von den KMUs kommentiert werden sollen
9. Senden Sie die Daten zur Anmerkung

All diese Schritte müssen während der Koordinierung zwischen mehreren Teams mit unterschiedlichen Prioritäten und Zeitplänen erfolgen, was zu viel Ausfallzeit führt. Bei unseren Interaktionen mit Partnern schätzen wir, dass jede Iteration mindestens 48 Stunden in Anspruch nimmt, aber wir haben gesehen, dass es Wochen dauert, wenn die Team-Prioritäten nicht ausgerichtet sind.

Mit 48 Stunden als durchschnittlicher Ausfallzeit aufgrund von Teamübergreifender Kommunikation können wir eine realistische Schätzung des Zeitwerts für ein Machine-Learning-Projekt abgeben.

Leistung der Communications Mining-Anmerkungsstrategie und der zufälligen Batch-Anmerkung im Vergleich zur Zeit. Schattierte Bereiche stellen +/- 2σ dar

Hinweis:

Diese Aufgabe kann mit Communications Mining in 3 Stunden erledigt werden, aber ohne geeignete Tools kann es bis zu 270 Stunden oder 89-mal langsamer dauern.

Der Unterschied zwischen der Ableitung eines Werts nach einem halben Tag Arbeit mit einer Person oder nach zwei Geschäftswochen mit mehreren Teams kann über die Einführung von Machine Learning in einem Unternehmen entscheiden, sodass der Wert, den es bieten kann, möglicherweise nicht genutzt wird.

Schlussfolgerung

Wir haben einige Themen in diesem Blogbeitrag behandelt, aber die wichtigsten Erkenntnisse sind:

• Active Learning kann dazu beitragen, die Anzahl der Datenpunkte zu reduzieren, die zum Trainieren eines guten Machine Learning-Modells erforderlich sind
• Die Active Learning-Forschung basiert auf Annahmen, die nicht immer realistisch sind
• Indem wir diese Annahmen widerspiegeln und menschliche Kommentatoren mehr in den Kommentarprozess einbeziehen, können wir die Zeit bis zur Wertschöpfung für ein Machine-Learning-Projekt erheblich reduzieren
• Die Priorisierung der menschlichen Erfahrung ist entscheidend für eine erfolgreiche Active Learning-Strategie

Wenn Sie Communications Mining nutzen möchten, um die Einführung des Werts für Ihr Unternehmen durch Machine Learning zu beschleunigen, wenden Sie sich an UiPath.