Sobre pipelines

Pacotes de ML do Document Understanding podem executar todos os três tipos de pipelines:

• Pipelines de treinamento
• Pipelines de avaliação
• Pipelines completos

Depois de concluída, uma execução de pipeline tem saídas e logs associados. Para ver essas informações, na guia Pipelines da barra lateral esquerda, clique em um pipeline para abrir a Visualização de Pipeline, que consiste em:

• os detalhes do Pipeline, como tipo, nome e versão do pacote de ML, conjunto de dados, uso da GPU, parâmetros e tempo de execução
• o painel Saídas ; sempre inclui um arquivo _results.json contendo um resumo dos detalhes do Pipeline
• a página Logs; os logs também podem ser obtidos na guia Logs de ML na barra lateral esquerda

Os pipelines de treinamento ou os pipelines completos também podem ser usados para:

• Fine-tune ML models with data from Validation Station
• Auto-Fine-tuning an ML model

Termos e definições

Training: Training a model from scratch, i.e. using the DocumentUnderstanding ML Package in AI Center.

Retraining: Training using a pre-trained base-model, i.e. using one of the other document extraction ML packages in AI Center such as Invoices,Receipts,Purchase Orders, etc.

Auto-retraining: This is the name of an environment variable which can be set when creating a Pipeline in AI Center which enables the pipeline to automatically use the most recent exported dataset for training. This variable is independent of whether that dataset includes data from Validation Station or not.

Fine-tuning: Training or retraining a model using a dataset which includes data coming from Validation Station.

Auto-Fine-tuning: Using the Auto-retraining environment variable feature to automatically train a model using data fed in from Validation Station using the Scheduled Export feature of Data Manager.