Vergleich von Communications Mining™ und Google AutoML für Conversation Data Intelligence

Vergleich von Communications Mining und Google AutoML für die NLP-gesteuerte Prozessautomatisierung und Konversationsdatenintelligenz.

Wenn es darum geht, die Leistungsfähigkeit von NLP und ML zu nutzen, um Prozesse zu automatisieren, bessere Analysen zu erhalten und ein tieferes Verständnis für die Konversationen eines Unternehmens zu erlangen, ist die erste Entscheidung in der Regel, ob Sie eine Lösung kaufen oder eine eigene erstellen.

In diesem Beitrag werden die Leistung und das Design der Communications Mining- Plattform mit einer der besten Cloud-NLP-Lösungen verglichen: AutoML von Google.

Wir hoffen, Ihnen einige Einblicke in die Verwendung eines dedizierten Enterprise Communications Intelligence-Produkts im Vergleich zur Verwendung eines allgemeineren Tools geben zu können und welche Vorteile Sie erwarten können.

Designidee

Communications Mining™ und Google AutoML sind beide Lösungen, bei denen der Benutzer ein Trainings-Dataset mit Anmerkungen erstellen muss, das Beschriftungen mit Konversationen verknüpft. Die Qualität der Trainingsdaten bestimmt die Qualität der Vorhersagen, die von diesem trainierten Modell zurückgegeben werden.

Tipp:

Der Schlüssel zu qualitativ hochwertigen Trainingsdaten besteht darin, dass Beschriftungen konsistent angewendet werden und genau die Domäne darstellen, für die Sie Vorhersagen machen möchten.

Der erste große Unterschied zwischen Communications Mining und Google AutoML besteht in der Designidee, wie das Produkt verwendet werden soll.

Hinzufügen von Anmerkungen zu Aufgaben im Vergleich zu aktivem Lernen

Der AutoML-Flow besteht darin, offline ein Dataset mit Anmerkungen zu erstellen, das hochgeladen und zum Trainieren eines Modells verwendet wird. Das Versehen eines Datasets mit Anmerkungen ist ein kostspieliger Vorgang, der viel Vorabarbeit erfordert. Wie die Beschriftungen erstellt werden, liegt außerhalb des Scopes von AutoML, aber eine mögliche Lösung besteht darin, die Anmerkungen an Drittanbieter auszulagern. Google bietet zu diesem Zweck Aufgaben zum Annotieren von Anmerkungen, die in AutoML integriert sind, oder man könnte auch Amazon Automation Es diesem Pfad verwenden.

Das ist aus mehreren Gründen suboptimal

• Der Zugriff durch Dritte ist oft kein Auslöser für sensible interne Konversationen.
• Es könnte nicht wünschenswert sein, die Anmerkungen an Personen auszulagern, die nicht über das erforderliche Insights verfügen, um die Komplexität der Kommunikation eines Unternehmens vollständig zu erfassen
• Kontextkenntnisse der Domäne sind der Schlüssel für hochwertige Trainingsdaten. Zum Beispiel kann jeder Bilder vonKatzen und Hunden kommentieren, aber weniger E-Mails von einem Postfach für Ops-Mailboxen der Integration Bank, wofür man Experten benötigt.

Bei Communications Mining™ möchten wir das Hochladen einer großen Menge von Daten ohne Anmerkungen aufrufen und unser aktives Lernen nutzen, um die Anmerkung interaktiv zu erstellen. Wir glauben, dass die interaktive Datenerkundung und -anmerkung der Schlüssel zur Erstellung einer Reihe von Beschriftungen ist, die wirklich alle interessanten Informationen und Nuancen erfassen, die in den Gesprächen eines Unternehmens in der richtigen Granularität zu finden sind.

Wenn Sie bereits ein großes Dataset mit Anmerkungen haben, das Sie als Ausgangspunkt verwenden möchten, können Sie natürlich unser CLI-Tool verwenden, um das Dataset mit Anmerkungen hochzuladen.

Wasserfall- und Agilitätsmodellentwicklung

Diese beiden Design Verwendungen ähneln den Software-Entwicklungsmodellen von überlauf und agil . Während erstere ein Projekt in sequenzielle Teile aufteilt, ermöglicht letztere mehr Flexibilität und erleichtert die Neubewertung von Prioritäten.

Ereignis-Modell, das von AutoML zum Erstellen eines Machine-Learning-Modells verwendet wird

Wenn im Voraus ein großes Dataset mit Anmerkungen erforderlich ist, muss zunächst entschieden werden, welche Bezeichnungen/Konzepte vom NLP-Modell erfasst werden. Wichtig ist, dass diese Entscheidung vor jeder umfassenden Datenerkundung getroffen wird.

Ein interaktiver Ansatz öffnet die Möglichkeit, neue Konzepte zu entdecken, während Sie das Dataset mit Anmerkungen versehen. Vorhandene Konzepte können konkretisiert werden, oder es können völlig neue Konzepte entdeckt werden, die zuvor unbemerkt waren. Wenn KMUs neue Konzepte entdecken, die nicht von den Anforderungen erfasst wurden, lässt das Desktop-Modell keine Anpassung und Integration dieser neuen Informationen zu, was letzten Endes zu schlechteren Modellen führt.

Agilitätsmodell, das von Communications Mining™ zum Erstellen eines Machine Learning-Modells verwendet wird

Iteration und Verbesserung des Modells

In der Welt des Machine Learning, wo Modelle oft auf unerwartete Weise fehlschlagen können und die Modellvalidierung ein schwieriger Prozess ist, ist die Falls-Methode möglicherweise zu empfindlicher und hat Iterationszeiten, die viel zu lang sind, um ein Modell zuverlässig in der Produktion bereitzustellen.

AutoML bietet einige Hilfe bei der Verbesserung eines Modells, indem für jede Bezeichnung falsch positive und falsch negative Ergebnisse angezeigt werden. Communications Mining bietet eine Reihe von Warnungen und vorgeschlagenen Aktionen für jede Bezeichnung, die es Benutzern ermöglichen, die Fehlermodi ihres Modells besser zu verstehen und somit den schnellsten Weg zu finden, es zu verbessern.

Datenmodelle

Eine weitere Achse, auf der sich AutoML und Communications Mining™ unterscheiden, ist das von ihnen verwendete Datenmodell. AutoML bietet eine sehr allgemeine Struktur sowohl für Eingaben als auch für Ziele. Communications Mining ist für die Hauptkommunikationskanäle optimiert, die durch natürliche Sprache übermittelt werden.

Halbstrukturierte Konversationen

Die meisten digitalen Konversationen finden in einem der folgenden Formate statt:

• Emails
• Tickets
• Chats
• Telefonanrufe
• Feedback/Bewertungen/Umfragen

Dies sind alles halbstrukturierte Formate, die Informationen enthalten, die über den einfachen Text hinausgehen. Eine E-Mail hat einen Absender und einige Empfänger sowie einen Betreff. Chats haben unterschiedliche Teilnehmer und Zeitstempel. Bewertungen können zugehörige Metadaten, wie z. B. die Punktzahl, haben.

AutoML hat keine kanonische Möglichkeit, diese halbstrukturierten Informationen beim Hochladen von Trainingsbeispielen darzustellen, es verarbeitet ausschließlich Text. Communications Mining™ bietet erstklassige Unterstützung für die E-Mail-Struktur sowie beliebige Metadatenfelder über Benutzereigenschaften.

Entfernen der Signatur

Wie im folgenden Beispiel gezeigt, enthalten Unternehmens-E-Mails oft große Signaturen und/oder rechtliche Haftungsausschluss, die viel länger sein können als der eigentliche Inhalt der E-Mail. AutoML hat keine Logik zum Entfernen von Signaturen, daher haben wir Communications Mining verwendet, um die Signaturen zu analysieren, bevor sie an AutoML übergeben wurden.

Während moderne Machine Learning-Algorithmen das Rauschen aufgrund von Signaturen sehr gut bewältigen können, ist das nicht für menschliche Beschrifter möglich. Wenn Sie versuchen, eine E-Mail auf Beschriftungen zu analysieren, die zutreffen und interessante Themen erkennen, ist die kognitive Belastung durch das Ignorieren der langen Signaturen nicht zu vernachlässigen und kann zu einer schlechten Beschriftungsqualität führen.

Beispiel für eine Banking-E-Mail. Die E-Mail hat einen Betreff, einen Absender, Empfänger, einige Metadatenfelder sowie eine lange Signatur

Zugehörige Konzepte

Konzepte innerhalb von Unternehmenskonversationen sind selten unabhängig, oft ist es natürlicher, zu versuchen, Beschriftungen in einer strukturierten Beschriftungshierarchie zu gruppieren. Zum Beispiel könnte eine E-Commerce-Plattform erfassen, was die Nutzer über ihre Bereitstellung denken, und einige Unterbeschriftungen erstellen, z. B. Delivery > Speed Delivery > Cost Delivery > Tracking.

Für detailliertere Einblicke sind weitere Aufschlüsselungen möglich, z. B. Delivery > Cost > Free Shipping Delivery > Cost > Taxes & Customs.

Die Gruppierung von Bezeichnungen in einer Hierarchie ermöglicht es Benutzern, ein klareres Bild von dem zu erhalten, was sie kommentieren, und ein besseres Denken-Modell für die Bezeichnungen, die sie definieren. Dies ermöglicht natürlich auch bessere Analysen und Automatisierungen, da Bezeichnungen automatisch zu ihren übergeordneten Elementen aggregiert werden. Im vorherigen Beispiel können wir die Analyse für die Beschriftung der obersten Ebene Delivery nachverfolgen, ohne explizit etwas für die untergeordneten Beschriftungen tun zu müssen.

AutoML bietet keine Unterstützung für strukturierte Beschriftungen, sondern geht von der vollständigen Abhängigkeit zwischen den Beschriftungen aus. Dies ist das allgemeinste Datenmodell für NLP-Beschriftungen, aber wir glauben, dass es an der Spezifität fehlt, die erforderlich ist, um optimal mit halbstrukturierten Konversationen zu arbeiten.

Stimmung pro Beschriftung

Zusätzlich zur Beschriftungsstruktur ist die Stimmung eines Textteils oft für das Feedback oder die Umfrageanalyse interessant. Google bietet ein separates Stimmungsmodell, mit dem Benutzer ein Standard-Stimmungsmodell verwenden können, das eine globale Stimmung für die Eingabe gibt. Bei komplexen natürlicher Sprache sind es jedoch üblich, dass mehrere Stimmungen gleichzeitig vorhanden sind. Denken Sie zum Beispiel an das folgende Feedback:

Die Definition einer globalen Stimmung ist schwierig, da zwei Konzepte unterschiedlicher Polarität im selben Satz zum Ausdruck kommen. Communications Mining™ bietet eine Stimmung pro Beschriftung, um dieses Problem zu lösen. Das vorherige Feedback kann als positiv in Bezug auf die Wahl, aber negativ in Bezug auf die Verfügbarkeit von Aktien mit Anmerkungen versehen werden, wodurch die Emotionen und das, was sie betreffen, erfasst werden.

Obwohl es möglich ist, etwas Ähnliches in AutoML zu tun, indem eine Positive - und eine Negative -Version jeder Beschriftung erstellt wird, gibt es keine Möglichkeit, anzugeben, dass es sich um zwei Versionen derselben Beschriftung handelt, was bedeutet, dass man zweimal als beschriftet werden muss viele Daten.

Identische Eingaben

Eine weitere interessante Beobachtung bezieht sich auf die Deduplizierung von Eingaben. Im Allgemeinen ist es bei der Validierung eines Machine Learning-Modells wichtig, eine strenge Trennung zwischen Trainings- und Testsätzen beizubehalten, um Datenlecks zu vermeiden, die zu optimistischen Leistungsschätzungen und damit zu unerwarteten Ausfällen bei der Bereitstellung führen können.

AutoML dedupliziert automatisch alle Eingaben und warnt den Benutzer, dass es doppelte Eingaben gibt. Das ist zwar der richtige Ansatz für eine universelle NLP-API, aber bei Konversationsdaten ist dies nicht der Fall.

Legitimierte Duplikate in Konversationsdaten

Viele E-Mails, die intern gesendet werden, werden automatisch generiert, von Out-of-Office-Nachrichten bis hin zu Besprechungserinnerungen. Bei der Analyse der Ergebnisse einer Umfrage ist es jederzeit möglich, dass viele Personen genau das Gleiche beantworten, insbesondere bei sensiblen Fragen wie z. B

Is there anything we could do to improve? → No.

Dies bedeutet, dass viele dieser doppelten Eingaben in der realen Verteilung rechtsgültig dupliziert werden. Es ist wichtig, zu bewerten, wie gut das Modell bei diesen bekannten, streng identischen Eingaben funktioniert.

Experimente

​‑ Nachdem wir nun die Unterschiede auf höchster Ebene besprochen haben, möchten wir die Rohleistung beider Produkte auswerten, um zu überprüfen, welches weniger Aufwand erfordern würde, um ein produktionsreifes Modell bereitzustellen.

Einrichten

Wir möchten den Vergleich so direkt wie möglich gestalten. Wir bewerten die Leistung anhand von drei Datasets, die für drei Kernanwendungsfälle von NLP in Unternehmen repräsentativ sind

	Größe	Zugewiesene Beschriftungen	Eindeutige Beschriftungen
E-Mails von der Integration Bank	1368	4493	59
E-Mails zur Versicherungsüberprüfung	3964	5188	25
E-Commerce-Feedback	3510	7507	54

Wir haben die Daten wie folgt verarbeitet

• Datenformat. Für Communications Mining™ verwenden wir die integrierte E-Mail-Unterstützung. AutoML erwartet ein Textblob, daher haben wir zur Darstellung der E-Mail-Struktur das Format Subject: <SUBJECT-TEXT> Body: <BODY-TEXT>verwendet.
• Signaturentfernung. Alle E-Mail-Texte wurden vorverarbeitet, um ihre Signaturen zu entfernen, bevor sie an das Machine Learning-Modell übergeben wurden.

Da AutoML-Anmerkungsaufgaben nicht für vertrauliche interne Daten anwendbar sind, verwenden wir von KMUs mit der aktiven Lernplattform Communications Mining annotierte Bezeichnungen, um die überwachten Daten zu erstellen, die wir zum Trainieren beider Modelle verwenden werden.

Hinweis:

Wir haben diese Datasets aufgrund ihres repräsentativen Rufs ausgewählt und sie nicht geändert, nachdem wir die ersten Ergebnisse gesehen haben, um Verzerrungen bei der Auswahl zu vermeiden.

Wir haben einen festen Testsatz, mit dem wir beide Plattformen vergleichen und beide mit genau den gleichen Trainingsdaten trainieren. AutoML erfordert, dass Benutzer Trainings- und Validierungsaufteilungen manuell angeben, daher wählen wir zufällig 10 % der Trainingsdaten aus, die als Validierung verwendet werden, wie dies in den AutoML-Dokumenten empfohlen wird .

Metriken

Die Seite Validierung in Communications Mining™ hilft Benutzern, die Leistung ihrer Modelle zu verstehen. Die primäre Metrik, die wir verwenden, ist die mittlere durchschnittliche Genauigkeit. AutoML meldet die durchschnittliche Genauigkeit für alle Beschriftungsvorhersagen sowie die Genauigkeit und Erinnerung bei einem bestimmten Schwellenwert.

Mittlere durchschnittliche Genauigkeit berücksichtigt die Leistung aller Bezeichnungen besser, da es sich um einen ungewichteten Durchschnitt der Leistung einzelner Bezeichnungen handelt, während Durchschnittliche Genauigkeit, Präzision und Rückruf das globale Verhalten des Modells über alle Eingaben und Bezeichnungen hinweg erfassen und somit das Allgemeine besser darstellen vorkommenden Beschriftungen.

Wir vergleichen die folgenden Metriken:

• Mittlere durchschnittliche Genauigkeit Die von Communications Mining™ verwendete Metrik. Es handelt sich um die Makro-Durchschnittliche Genauigkeit der Beschriftungen
• Durchschnittliche Genauigkeit Die von AutoML verwendete Metrik, die die minimale gemittelte Genauigkeit aller Vorhersagen ist
• Die F1-Punktzahl und die Rückrufgenauigkeit sind allein nicht aussagekräftig, da das eine durch das andere ersetzt werden kann. Wir melden die F1-Punktzahl, die die Leistung bei einer Aufgabe darstellt, bei der Genauigkeit und Erinnerung gleich wichtig sind.

Interessierte Leser finden die vollständigen Genauigkeits-Rückruf-Kladen im entsprechenden Abschnitt.

Ergebnisse

Hinweis:

Communications Mining™ ist AutoML bei jeder Metrik in allen Benchmark-Datasets durchschnittlich 5 bis 10 Punkte voraus. Dies ist ein klarer Hinweis darauf, dass ein Tool, das darauf spezialisiert ist, aus Kommunikation zu lernen, besser für leistungsstarke Automatisierungen und Analysen in Unternehmen geeignet ist.

Da AutoML für die Verarbeitung allgemeiner NLP-Aufgaben entwickelt wurde, muss es flexibel genug sein, um sich an jede textbasierte Aufgabe anzupassen, zum Nachteil einer spezifischen Aufgabe. Darüber hinaus konzentrieren sich die Anfangskenntnisse von AutoML, wie bei vielen Standardlösungen, die Transferlernen nutzen, mehr auf die alltägliche Sprache, die häufig in sozialen Medien und Nachrichtenartikeln verwendet wird.

Dies bedeutet, dass die Datenmenge, die für die Anpassung an die Unternehmenskommunikation erforderlich ist, viel größer ist als ein Modell, dessen Hauptzweck in der Unternehmenskommunikation besteht, wie Communications Mining, das Lernen aus sehr ähnlichen Ausgangskenntnissen nutzen kann. In Bezug auf die realen Auswirkungen bedeutet dies mehr wertvolle SME-Zeit für das Hinzufügen von Anmerkungen, eine längere Zeit vor der Ableitung des Werts aus dem Modell und höhere Einführungskosten.

Low-Data-Register

Zusätzlich zum vollständigen Dataset möchten wir auch die Leistung von Modellen auswerten, die mit wenigen Daten trainiert wurden. Da das Sammeln von Trainingsdaten ein teures und zeitaufwändiges Verfahren ist, ist die Geschwindigkeit, mit der ein Modell verbessert wird, wenn Daten angegeben werden, ein wichtiger Aspekt bei der Auswahl einer NLP-Plattform.

Hinweis:

Lernen mit wenigen Daten wird als Wenig-Shot-Learning bezeichnet . Insbesondere wenn versucht wird, aus K Beispielen für jede Beschriftung zu lernen, wird dies in der Regel als K-Shot-Lernen bezeichnet .

Um die Few-Shot-Leistung auszuwerten, erstellen wir kleinere Versionen jedes Datasets, indem wir 5 und 10 Beispiele für jede Beschriftung benennen, und notieren diese als 5-Shot- bzw. 10-Shot-Datasets.

Wie bereits erwähnt verwendet, verwendet Communications Mining™ eine hierarchische Beschriftungsstruktur, was bedeutet, dass wir nicht genau 5 Beispiele für jede Beschriftung auswählen können, da untergeordnete Elemente nicht ohne ihre übergeordneten Elemente angewendet werden können. Daher erstellen wir diese Datasets durch Stichproben aus Blattbeschriftungen in der Hierarchie, damit die übergeordneten Elemente möglicherweise mehr Beispiele haben.

Diese Beispiele werden vollständig zufällig gezogen, ohne aktive Lernverzerrung, die die Communications Mining-Plattform begünstigen könnten.

Da AutoML nur dann Modelle trainiert, wenn alle Beschriftungen mindestens 10 Beispiele enthalten, können wir keine 5-Socket-Leistung melden

Hinweis:

Im Bereich mit wenig Daten ist Communications Mining der AutoML bei den meisten Metriken für alle Aufgaben deutlich voraus. Wir stellen fest, dass die 5-Shot-Leistung für Communications Mining bereits mit der 10-Shot-Leistung für AutoML bei den meisten Metriken konkurrenzfähig ist .

Ein genaues Modell mit wenigen beschrifteten Trainingspunkten ist äußerst leistungsstark, da es bedeutet, dass Menschen viel früher mit der Zusammenarbeit mit dem Modell beginnen können, wodurch die aktive Lernschleife verkürzt wird.

Die einzige Metrik, für die AutoML eine höhere Leistung aufweist, ist die mittlere Durchschnittsgenauigkeit für die 10-Punkte-Leistung bei Kundenfeedback, bei der AutoML Communications Mining™ um 1,5 Punkte schlägt.

Da es sich bei AutoML um ein Allzwecktool handelt, funktioniert es am besten für Daten, die Prosa-ähnlichen sind, und Kundenfeedback enthält in der Regel keine wichtigen halbstrukturierten Daten oder domänenspezifischen Sprache, mit denen ein Allzwecktool Probleme haben könnte, was jedoch möglicherweise der Fall ist ein Grund, warum AutoML so gut funktioniert.

Trainingszeit

Modelltraining ist ein komplexer Prozess, daher ist die Trainingszeit ein wichtiger Faktor, der berücksichtigt werden muss. Schnelles Modelltraining bedeutet schnellere Iterationszyklen und eine strengere Feedback-Schleife. Das bedeutet, dass jede Beschriftung, die von einem Menschen angewendet wird, zu schnelleren Verbesserungen des Modells führt, wodurch die Zeit verkürzt wird, die erforderlich ist, um einen Wert aus dem Modell abzurufen.

	Communications Mining™	AUTOML
E-Mails von der Integration Bank	1m32s	4h4m
E-Commerce-Feedback	2:45 Sek	4h4m
E-Mails zur Versicherungsüberprüfung	55s	3h59m

Hinweis:

Communications Mining™ wurde für aktives Lernen entwickelt. Die Trainingszeit ist für uns sehr wichtig und unsere Modelle sind so optimiert, dass sie schnell trainieren, ohne die Genauigkeit zu beeinträchtigen. Das Training eines AutoML-Modells ist im Durchschnitt etwa 200-mal langsamer als Communications Mining.

AutoML-Modelle benötigen eine Größenordnung länger für das Training, was sie viel weniger zugänglich für den Einsatz in einer aktiven Lernschleife macht.

Da die Iterationszeit so lang ist, besteht der beste Pfad zur Verbesserung eines AutoML wahrscheinlich in großen Mengen an Anmerkungen zwischen dem erneuten Modelltraining, was das Risiko redundanter Datenanmerkungen (mehr Trainingsbeispiele für ein bereits gut verstandenes Konzept) und geringem Workflow vefügt Datenexploration (ohne zu wissen, was das Modell nicht weiß, ist es schwieriger, eine höhere Konzeptabdeckung zu erreichen).

Schlussfolgerung

Beim Aufbau einer NLP-Unternehmenslösung ist die rohe Vorhersageleistung eines Modells nur ein Aspekt, der berücksichtigt werden muss. Wenn wir festgestellt haben, dass Communications Mining™ AutoML bei gängigen NLP-Aufgaben in Unternehmen übertroffen hat, waren die wichtigsten Erkenntnisse, die wir gewonnen haben, die grundlegenden Unterschiede bei den NLP-Ansätzen dieser Plattformen.

• Communications Mining ist ein Tool, das auf die halbstrukturierte Konversationsanalyse zugeschnitten ist. Es enthält mehr der Komponenten, die zum Erstellen eines Modells von Grund auf in einem Agilen-Framework erforderlich sind.
• AutoML ist ein universelles NLP-Tool, das mit anderen Komponenten integriert werden muss, um effektiv zu sein. Es konzentriert sich mehr auf das Erstellen von Modellen mit bereits vorhandenen mit Anmerkungen versehenen Daten in einem Falls-Framework für das Erstellen von Machine-Learning-Modellen.
• Beide Tools sind in der Lage, höchst konkurrenzfähige, moderne Modelle zu erstellen, aber Communications Mining ist besser für die spezifischen Aufgaben geeignet, die bei der Analyse der Unternehmenskommunikation häufig sind.

Wenn die genauen Anforderungen nicht im Voraus definiert werden können, sind die langen Trainingszeiten von AutoML-Modellen untragbar, um die interaktive Datenerkundung in einer aktiven Lernschleife voranzutreiben, wofür Communications Mining entwickelt wurde.

Die Anforderung von AutoML, für jede Beschriftung 10 Beispiele zu haben, bevor ein Modell trainiert wird, bedeutet, dass das Modell nicht effektiv als Steuerung für die Anmerkung in den sehr frühen Phasen verwendet werden kann, was genau der schwierigste Teil eines Machine Learning-Projekts ist.

Darüber hinaus bedeutet die Verteilungslücke zwischen den Aufgaben, die AutoML und Communications Mining erwarten, dass das spezifischere Tool aufgrund des gezielteren Einsatzes von Transferlernen schneller Modelle von höherer Qualität herstellen kann.

Nehmen Sie Kontakt auf

Wenn Sie diesen Vergleich interessant fanden, Anmerkungen oder Fragen haben oder Communications Mining verwenden möchten, um die Konversationen Ihres Unternehmens besser zu verstehen, wenden Sie sich an UiPath®.

Präzisions-Rückruf-Kurben

​Um ein tieferes Verständnis dafür zu haben, wie sich das Verhalten von Communications Mining™- und AutoML-Modellen unterscheidet, können Metriken auf oberster Ebene wie die durchschnittliche Genauigkeit nicht das vollständige Bild liefern. In diesem Abschnitt stellen wir die Genauigkeits-/Rückruf-Kladen für alle Vergleiche bereit, damit die Leser einschätzen können, welche Kompromisse bei Genauigkeit/Rückruf sie angesichts ihrer spezifischen Leistungsschwellenwerte erwarten können.