Trainingspipelines

Tipp:

The ability to train extractors and classifiers is now more convenient by using Document Understanding^TM product (rather than the AI Center service), by leveraging the One Click Extraction and the One Click Classification features.

Wichtig:

Minimal dataset size For successfully running a Training pipeline, we strongly recommend minimum 10 documents and at least 5 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. Training on GPU vs CPU For larger datasets, you need to train using GPU. Moreover, using a GPU for training is at least 10 times faster than using a CPU. For the maximum dataset size depeding on the version and infrastructure, check the table below.

Table 1. Maximum dataset for each version

Infrastruktur	<2021.10.x	2021.10.x	>2021.10.x
CPU	500 Seiten	5000 Seiten	1000 Seiten
GPU	18.000 Seiten	18.000 Seiten	18.000 Seiten

If you are encountering failed pipelines when training large datasets, we recommend upgrading to ML packages version 24.4 or newer. The most recent versions provide stability enhancements, which could significantly reduce these issues. For more information on dataset structure, check the Dataset format section.

Es gibt zwei Möglichkeiten, ein ML-Modell zu trainieren:

• Training eines Modells von Grund auf
• erneutes Trainieren eines out-of-the-Box Modells

Das Training eines Modells von Grund auf kann mit dem DocumentUnderstanding-ML-Paket durchgeführt werden, was auf dem Dataset geschieht, das als Eingabe bereitgestellt wird.

Das erneute Training kann mit vorgefertigten ML-Paketen wie „Invoices“, „Receipts“, „Purchase Orders“, „Utility Bills“, „Invoices India“, „Invoices Australia“ usw. erfolgen – im Prinzip alle anderen ML-Pakete zur Datenextraktion mit Ausnahme von DocumentUnderstanding. Das Training mit einem dieser Pakete hat ein Basismodell als zusätzliche Eingabe. Wir bezeichnen dies auch als erneutes Trainieren, da Sie nicht von vorne beginnen, sondern von einem Basismodell ausgehen. Dieser Ansatz nutzt eine Technik namens „Transfer Learning“, bei der das Modell die Informationen verwendet, die in einem anderen, bereits vorhandenen Modell codiert sind. Das Modell verfügt über einige der standardmäßigen Kenntnisse, aber es lernt auch aus den neuen Daten. Mit zunehmender Größe Ihres Trainings-Datasets kommt es jedoch immer weniger auf das vortrainierte Basismodell an. Dies ist hauptsächlich für kleine bis mittelgroße Trainings-Datasets relevant (bis zu 500–800 Seiten).

Konfigurieren Sie die Trainingspipeline wie folgt:

• Wählen Sie im Feld „Pipelinetyp“ die Option „Trainingsausführung“ aus.

• Wählen Sie im Feld „Paket wählen“ das Paket aus, das Sie basierend auf dem DocumentUnderstanding-ML-Paket erstellt haben.

• Wählen Sie im Feld „Hauptversion des Pakets wählen“ eine Hauptversion für Ihr Paket aus.

• In the Choose package minor version field, select a minor version for your package. Check the Choosing the minor version section below for more information.

• In the Choose input dataset field, select a dataset as shown in the video below on this page. For building high quality training datasets, you can check this tutorial.

• Geben Sie im Abschnitt „Parameter eingeben“ von Ihrer Pipeline definierte und verwendete Umgebungsvariablen ein, falls vorhanden. Für die meisten Anwendungsfälle muss kein Parameter angegeben werden. Das Modell verwendet erweiterte Techniken, um eine performante Konfiguration zu finden. Hier sind jedoch einige Umgebungsvariablen, die Sie verwenden können:

• auto_retraining which allows you to complete the Auto-retraining Loop; if the variable is set to True, then the input dataset needs to be the export folder associated with the labeling session where the data is tagged; if the variable remains set to False, then the input dataset needs to correspond to the dataset format.

• model.epochs, die die Anzahl der Epochen für die Trainingspipeline anpasst (Standardwert: 100). Optional.

  Hinweis:

  For larger datasets, containing more than 5000 pages, you can initially perform a full pipeline run with the default number of epochs. This allows you to evaluate the model’s accuracy. After that, you can decrease the number of epochs to about 30-40. This approach allows you to compare the accuracy of the results and determine if the reduction of epochs yields comparable precision. When using smaller datasets, in particular those with fewer than 5000 pages, you can maintain the default number of epochs.

• For ML Packages v23.4 or higher, training on datasets smaller than 400 pages uses an approach called Frozen Backbone to accelerate the training and improve performance. However, you have the option to override this behavior and force Full Training even for smaller datasets, or conversely, to force Frozen Backbone training even for larger datasets (up to a maximum of 3000 pages). You can use the following environment variables, with the condition to combine them when in use, either use the first and the second, or the first and the third variables together. Optional.

  • model.override_finetune_freeze_backbone_mode=True – Schließen Sie diese Umgebungsvariable ein, um das Standardverhalten zu überschreiben. Dies ist in den beiden folgenden Situationen erforderlich.
  • model.finetune_freeze_backbone_mode=True – Fügen Sie diese Umgebungsvariable ein, um zu erzwingen, dass das Modell auch für größere Datasets Frozen Backbone verwendet.
  • model.finetune_freeze_backbone_mode=False – Fügen Sie diese Umgebungsvariable ein, um zu erzwingen, dass das Modell auch für größere Datasets das vollständige Training verwendet.

• Wählen Sie aus, ob die Pipeline mit der GPU oder CPU trainiert werden soll. Der Schieberegler „GPU aktivieren“ ist standardmäßig deaktiviert. In diesem Fall wird die Pipeline mit der CPU trainiert.

• Wählen Sie eine der Optionen aus, wann die Pipeline ausgeführt werden soll: „Jetzt ausführen“, „Zeitbasiert“ oder „Wiederkehrend“. Falls Sie die Variable auto_retraining verwenden, wählen Sie „Wiederkehrend“ aus.

  

• Nachdem Sie alle Felder konfiguriert haben, klicken Sie auf „Erstellen“. Die Pipeline wird erstellt.

Hier ist ein Beispiel für das Erstellen einer neuen Trainingspipeline mit einem Dataset, das zuvor in das AI Center exportiert wurde:

Auswählen der Nebenversion

In most situations, minor version 0 should be chosen. This is because the larger and more diverse your training dataset, the better your model's performance. This principle aligns with the current state-of-the-art ML technology's goal of using large, high-quality, and representative training sets. Therefore, as you accumulate more training data for a model, you should add the data to the same dataset to further enhance the model's performance.

There are situations, however, where training on a minor version other than 0 makes sense. This is typically the case when a partner needs to service multiple customers in the same industry, but UiPath® doesn't have a pre-trained model optimized for that industry, geography, or document type.

In such a case, the partner might develop a pre-trained model using a variety of document samples from that industry (not from a single source, but from many for better generalization). This model would be used as a base model to train specific customer models, being trained on version 0 of the ML package. Following versions, like version 1, would be used to refine either the pre-trained model or create customer-specific models.

Um gute Ergebnisse zu erzielen, sollte das vortrainierte Modell jedoch unverzerrt sein und auf einem sehr vielfältigen Trainings-Set basieren. Wenn das Basismodell für einen bestimmten Kunden optimiert ist, funktioniert es möglicherweise nicht gut für andere Kunden. In einem solchen Fall liefert die Verwendung der Nullversion als Basismodell bessere Ergebnisse.