Textklassifizierung

OS-Pakete > Sprachanalyse > TextClassification

Dies ist ein generisches, erneut trainierbares Modell für die Sprach-Klassifizierung. Dieses ML-Paket muss neu trainiert werden. Wenn es zuerst ohne Training bereitgestellt wird, schlägt die Bereitstellung mit einem Fehler fehl, der angibt, dass das Modell nicht trainiert ist.

Dieses Modell ist eine Deep Learning-Architektur für die Sprachklassifizierung. Sie basiert auf BERT, einer selbstüberwachten Methode zum Vortraining von linguistischen Datenverarbeitungssystemen. Eine GPU kann sowohl zur Ausgabezeit als auch zur Trainingszeit verwendet werden. Eine GPU liefert eine ca. 5- bis 10-fache Verbesserung der Geschwindigkeit. Das Modell ist ein Open-Source-Projekt von Facebook AI Research.

Sprachen

Der Haupttreiber für die Leistung des Modells ist die Datenqualität, die für das Training verwendet wird. Darüber hinaus können die Daten, die zum Parametrisieren dieses Modells verwendet werden, auch die Leistung beeinflussen. Dieses Modell wurde in den ersten 100 Sprachen auf den umfangreichsten Wikipedia-Enzyklopädien trainiert (vollständige Liste)

Modelldetails

Eingabetyp

JSON

Eingabebeschreibung

Text, der als String klassifiziert werden soll: „I loved this movie.“

Ausgabebeschreibung

JSON mit dem vorhergesagten Klassennamen, der der Klassenvorhersage zugeordnet ist (zwischen 0–1).

Beispiel:

{
  "class": "Positive",
  "confidence": 0.9422031841278076
}

Pipelines

Alle drei Pipelinetypen (Vollständiges Training, Training und Auswertung) werden von diesem Paket unterstützt.

Für die meisten Anwendungsfälle müssen keine Parameter angegeben werden, das Modell verwendet erweiterte Techniken, um ein performantes Modell zu finden. In nachfolgenden Trainings nach dem ersten verwendet das Modell inkrementelles Lernen (das heißt, am Ende eines Trainingslaufs wird die zuvor trainierte Version verwendet).

Dataset-Format

Es gibt zwei mögliche Optionen für die Strukturierung Ihres Datasets für dieses Modell. Sie können nicht beide Optionen gleichzeitig verwenden. Standardmäßig sucht das Modell nach der Datei dataset.csv im obersten Ordnerverzeichnis; wenn sie gefunden wurde, nutzt das Modell Option 2, andernfalls verwendet es Option 1 (Ordnerstruktur).

Verwenden Sie die Ordnerstruktur, um Ihre Klasse zu trennen

Erstellen Sie einen Ordner für jede Klasse (auf der obersten Ebene des Datasets) und fügen Sie eine Textdatei pro Datenpunkt im entsprechenden Ordner hinzu (der Ordner ist die Klasse und die Datei hat nur die Eingabe). Die Dataset-Struktur sieht folgendermaßen aus:

Dataset
-- folderNamedAsClass1 # the name of the folder must be name of the class
---- text1Class1.txt #file can have any name
...
---- textNClass1.txt
-- folderNamedAsClass2
---- text1Class2.txt
...
---- textMClass2.txt
..

Verwenden Sie eine CSV-Datei

Gruppieren Sie all Ihre Daten in einer CSV-Datei mit dem Namen dataset.csv auf der obersten Ebene Ihres Datasets neu. Die Datei muss über zwei Spalten verfügen: Eingabe (der Text) und Ziel (die Klasse). Sie sieht folgendermaßen aus:

input,target 
I like this movie,positive 
I hated the acting,negative

Papier

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (dt.: „BERT: Vortraining von tief bidirektionalen Transformatoren für das Sprachverständnis“) von Devlin, Jacob und Chang, Ming-Wei und Lee, Kenton und Toutanova, Kristina.