Trainingspipelines

Wichtig:

Minimale Dataset-Größe

Für die erfolgreiche Ausführung von Trainingspipelines empfehlen wir dringend mindestens 25 Dokumente und mindestens 10 Beispiele für jedes beschriftete Feld in Ihrem Dataset. Andernfalls löst die Pipeline den folgenden Fehler aus: Dataset Creation Failed (Dataset-Erstellung fehlgeschlagen).

Training auf GPU vs. CPU

• Bei größeren Datasets müssen Sie mit GPU trainieren. Darüber hinaus ist die Verwendung eines GPUs (AI Robot Pro) für das Training mindestens 10-mal schneller als die Verwendung einer CPU (AI Robot).
• Training auf CPU wird nur für Datasets mit einer Größe von bis zu 5000 Seiten für ML-Pakete ab Version 21.10.x und bis zu 1000 Seiten für andere Versionen von ML-Paketen unterstützt.
• CPU-Training war vor Version 2021.10 auf 500 Seiten begrenzt. Seit 2021.10 sind es 5000 Seiten und ab 2022.4 wieder maximal 1000 Seiten.

Es gibt zwei Möglichkeiten, ein ML-Modell zu trainieren:

• Training eines Modells von Grund auf
• erneutes Trainieren eines out-of-the-Box Modells

Das Training eines Modells von Grund auf kann mit dem ML-Paket DocumentUnderstanding durchgeführt werden, was auf dem Dataset geschieht, der als Eingabe bereitgestellt wird.

Das erneute Training kann mit out-of-the-box ML-Paketen wie Invoices, Receipts, Purchase Orders, Utility Bills, InvoicesIndia, InvoicesAustralia usw. erfolgen – im Prinzip alle anderen ML-Datenextraktionspakete mit Ausnahme von DocumentUnderstanding. Das Training mit einem dieser Pakete hat ein Basismodell als zusätzliche Eingabe. Wir bezeichnen dies auch als erneutes Trainieren, da Sie nicht von vorne beginnen, sondern von einem Basismodell ausgehen. Dieser Ansatz nutzt eine Technik namens Transfer Learning, bei der das Modell die Informationen verwendet, die in einem anderen, bereits vorhandenen Modell codiert sind. Das Modell verfügt über einige der out-of-the-box Kenntnisse, aber es lernt auch aus den neuen Daten. Mit zunehmender Größe Ihres Trainings-Datasets kommt es jedoch immer weniger auf das vortrainierte Basismodell an. Dies ist hauptsächlich für kleine bis mittelgroße Trainingsdatensätze relevant (bis zu 500–800 Seiten).

Konfigurieren Sie die Trainingspipeline wie folgt:

• Wählen Sie im Feld Pipelinetyp die Option Trainingsausführung aus.

• Wählen Sie im Feld Paket wählen das Paket aus, das Sie basierend auf dem DocumentUnderstanding-ML-Paket erstellt haben.

• Wählen Sie im Feld Hauptversion des Pakets wählen eine Hauptversion für Ihr Paket aus.

• Wählen Sie im Feld Nebenversion des Pakets wählen eine Nebenversion für Ihr Paket. Es wird dringend empfohlen, immer Nebenversion 0 (Null) zu verwenden.

• In the Choose input dataset field, select a representative training dataset.

• Geben Sie im Abschnitt Parameter eingeben von Ihrer Pipeline definierte und verwendete Umgebungsvariablen ein, falls vorhanden. Für die meisten Anwendungsfälle muss kein Parameter angegeben werden. Das Modell verwendet erweiterte Techniken, um eine performante Konfiguration zu finden. Hier sind jedoch einige Umgebungsvariablen, die Sie verwenden können:

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the dataset format.

• model.epochs, die die Anzahl der Epochen für die Trainingspipeline anpasst (Standardwert: 100).

  Hinweis:

  For larger datasets, containing more than 5000 pages, you can initially perform a full pipeline run with the default number of epochs. This allows you to evaluate the model’s accuracy. After that, you can decrease the number of epochs to about 30-40. This approach allows you to compare the accuracy of the results and determine if the reduction of epochs yields comparable precision.

  Bei kleineren Datasets, insbesondere solchen mit weniger als 5000 Seiten, können Sie die Standardanzahl von Epochen beibehalten.

• Wählen Sie aus, ob die Pipeline mit der GPU oder CPU trainiert werden soll. Der Schieberegler GPU aktivieren ist standardmäßig deaktiviert. In diesem Fall wird die Pipeline auf CPU ausgeführt.

• Wählen Sie eine der Optionen aus, wann die Pipeline ausgeführt werden soll: Jetzt ausführen, Zeitbasiert oder Wiederkehrend. Falls Sie die Variable auto_retraining verwenden, wählen Sie Wiederkehrend aus.

  

• After you configure all the fields, click Create. The pipeline is created.