Pipelines completos

Um pipeline completo (Full) executa um pipeline de treinamento (Training) e um pipeline de avaliação (Evaluation) juntos.

Importante:

Minimal dataset size For successfully running a Training pipeline, we strongly recommend at least 25 documents and at least 10 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. **

Training on GPU vs CPU**

• Para conjuntos de dados maiores, você precisa treinar usando GPU. Além disso, usar uma GPU (Robô de IA Pro) para treinamento é pelo menos 10 vezes mais rápido do que usar uma CPU (Robô de IA).
• O treinamento na CPU só é compatível com conjuntos de dados de até 5.000 páginas para Pacotes de ML v21.10.x e até 1.000 páginas para outras versões de Pacotes de ML.
• O treinamento em CPU foi limitado a 500 páginas para versões anteriores a 2021.10, subiu para 5.000 páginas em 2021.10 e, na versão 2022.4, voltou para 1.000 páginas no máximo.

Treinar e avaliar simultaneamente um modelo

Configure o pipeline de treinamento da seguinte maneira:

• No campo Pipeline type, selecione Full Pipeline run.

• In the Choose package field, select the package you want to train and evaluate.

• In the Choose package major version field, select a major version for your package.

• In the Choose package minor version field, select a minor version for your package. It is strongly recommended to always use minor version 0 (zero).

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• In the Enter parameters section, enter any environment variables defined, and used by your pipeline, if any. For most use cases, no parameter needs to be specified; the model is using advanced techniques to find a performant configuration. However, here are some environment variables you could use:

• model.epochs que personaliza o número de épocas para o pipeline de treinamento (o valor padrão é 100).

• Select whether to train the pipeline on GPU or on CPU. The Enable GPU slider is disabled by default, in which case the pipeline is trained on CPU. Using a GPU (AI Robot Pro) for training is at least 10 times faster than using a CPU (AI Robot). Moreover, training on CPU is supported for datasets up to 1000 images in size only. For larger datasets, you need to train using GPU.

• Select one of the options when the pipeline should run: Run now, Time based or Recurring. In case you are using the auto_retraining variable, select Recurring.

  

After you configure all the fields, select Create. The pipeline is created.

Artefatos

Para um pipeline de avaliação, o painel Saídas também inclui uma pasta artefatos / eval_metrics que contém dois arquivos:

• evaluation_default.xlsx é uma planilha do Excel com uma comparação lado a lado da informação real versus o valor previsto para cada campo previsto pelo modelo, bem como uma métrica de precisão por documento, em ordem crescente de precisão. Assim, os documentos mais imprecisos são apresentados na parte superior para facilitar o diagnóstico e a solução de problemas.

• evaluation_metrics_default.txt contém as pontuações F1 dos campos que foram previstos.

  Para itens de linha, uma pontuação global é obtida para todas as colunas juntas.