Sobre pipelines

Um pipeline é uma descrição de um fluxo de trabalho de aprendizado de máquina que inclui todas as funções no fluxo de trabalho e a ordem de execuções dessas funções. O pipeline inclui a definição das entradas necessárias para executar o pipeline e saídas recebidas dele.

Uma Execução de pipeline é uma execução de um pipeline com base no código fornecido pelo usuário. Após ter sido concluída, uma execução do pipeline tem saídas e logs associados.

Há três tipos de pipelines:

• Pipelines de treinamento - recebe como entrada um pacote e um conjunto de dados, e produz uma nova versão do pacote.
• Pipelines de avaliação - recebe como entrada uma versão do pacote e um conjunto de dados, e produz um conjunto de métricas e logs.
• Pipelines completos - executa uma função de processamento, um pipeline de treinamento e, imediatamente após, um pipeline de avaliação.
  Dica:

  Os exemplos usados para explicar esses conceitos são baseados em um pacote de amostra, tutorialpackage.zip, que é possível baixar clicando no botão abaixo. Recomendamos que você carregue esse pacote de amostra se for a primeira vez que você aprende sobre pipelines. Certifique-se de habilitá-lo para treinamento.

  Leia e observe como carregar um pacote.

  Baixe o pacote de amostra

A página Pipelines, acessível a partir do menu Pipelines após selecionar um projeto, permite visualizar todos os pipelines dentro desse projeto, juntamente com informações sobre seu tipo, pacote associado, versão do pacote, status, tempo de criação, duração e pontuação. Aqui é possível criar novos pipelines, acessar detalhes dos pipelines existentes ou remover pipelines.

Observação: as chamadas de saída não são suportadas por Habilidades de ML ou pipelines.

Status do pipeline

Uma execução do pipeline pode ter em um dos seguintes status:

• Programado - Um pipeline que foi programado para começar no futuro (por exemplo, à 1h todas as segundas-feiras). Quando a data-horário definidos para um pipeline começar a ser executado forem alcançados, o pipeline será enfileirado para execução.
• Pacotes — um pipeline que começou a criar a imagem do docker na qual o próprio trabalho será executado. Se essa for a primeira vez em que você está treinando essa versão específica do pacote de ML, isso poderá levar até 20 minutos.
• Aguardando recursos - Um pipeline que está procurando a licença disponível para executar. O pipeline verifica a cada cinco minutos se há uma nova licença disponível (isso acontecerá se você remover habilidades de ML em execução ou se outro pipeline for concluído) e começará assim que isso ocorrer.
• Execução - Um pipeline que foi iniciado e está sendo executado.
• Falha - Um pipeline que falhou durante a execução.
  Observação: os pipelines podem falhar se o tamanho do conjunto de dados exceder o limite de 50 Gb.
• Eliminado - Um pipeline que estava sendo executado até o usuário solicitar explicitamente seu encerramento.
• Bem-sucedido - Um pipeline que concluiu a execução.
  Observação: os pipelines são eliminados automaticamente após sete dias para evitar que fiquem parados por períodos mais longos e consumam licenças.