Vollständige Pipelines

Eine vollständige Pipeline führt gemeinsam eine Trainings- und eine Auswertungspipeline aus.

Wichtig:

Minimal dataset size For successfully running a Training pipeline, we strongly recommend at least 25 documents and at least 10 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. **

Training on GPU vs CPU**

• Bei größeren Datasets müssen Sie mit GPU trainieren. Darüber hinaus ist die Verwendung eines GPUs (AI Robot Pro) für das Training mindestens 10-mal schneller als die Verwendung einer CPU (AI Robot).
• Training auf CPU wird nur für Datasets mit einer Größe von bis zu 5000 Seiten für ML-Pakete ab Version 21.10.x und bis zu 1000 Seiten für andere Versionen von ML-Paketen unterstützt.
• CPU-Training war vor Version 2021.10 auf 500 Seiten begrenzt. Seit 2021.10 waren es 5000 Seiten und ab 2022.4 sind es maximal 1000 Seiten.

Gleichzeitiges Trainieren und Auswerten von Modellen

Konfigurieren Sie die Trainingspipeline wie folgt:

• Wählen Sie im Feld Pipelinetyp die Option Vollständige Pipelineausführung aus.

• In the Choose package field, select the package you want to train and evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version for your package. It is strongly recommended to always use minor version 0 (zero).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, enter any environment variables defined, and used by your pipeline, if any. For most use cases, no parameter needs to be specified; the model is using advanced techniques to find a performant configuration. However, here are some environment variables you could use:

• model.epochs, die die Anzahl der Epochen für die Trainingspipeline anpasst (Standardwert: 100).

• Select whether to train the pipeline on GPU or on CPU. The Enable GPU slider is disabled by default, in which case the pipeline is trained on CPU. Using a GPU (AI Robot Pro) for training is at least 10 times faster than using a CPU (AI Robot). Moreover, training on CPU is supported for datasets up to 1000 images in size only. For larger datasets, you need to train using GPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefakte

Bei einer Auswertungspipeline umfasst der Bereich Ausgaben auch einen Ordner namens artifacts/eval_metrics, der zwei Dateien enthält:

• evaluation_default.xlsx ist eine Excel-Tabelle mit einem nebeneinanderstehenden Vergleich der Ground Truth mit dem vorhergesagten Wert für jedes vom Modell vorhergesagte Feld sowie einer Genauigkeitsmetrik pro Dokument, um die Genauigkeit zu erhöhen. Daher werden oben die ungenausten Dokumente gezeigt, um die Diagnose und Fehlerbehebung zu erleichtern.

• evaluation_metrics_default.txt enthält die F1-Punktzahl der vorhergesagten Felder.

  Für Zeilenelemente wird eine globale Punktzahl aller Spalten zusammen ermittelt.