Gerenciamento de pipelines

Criação de pipelines

1. Na página Pipelines, clique no botão Criar novo. A página Criar nova execução do pipeline é exibida.

   Como alternativa, nos Detalhes do pacote de ML de um pacote específico, selecione as Execuções do pipeline e, em seguida, clique no botão Criar novo. A página Criar nova execução do pipeline é exibida.

2. Na página Criar nova execução do pipeline, selecione o tipo da execução do pipeline. As opções disponíveis são Execução de treinamento, Execução de avaliação e Execução do pipeline completo.

3. Selecione o pacote para a execução do pipeline.

4. Selecione as versões principal e secundária do pacote.

5. Selecione os conjuntos de dados. De acordo com o tipo de pipeline selecionado, os seguintes conjuntos de dados devem ser especificados:

   • Para pipeline de treinamento, especifique o conjunto de dados de entrada.
   • Para pipeline de avaliação, especifique o conjunto de dados de avaliação.
   • Para a execução do pipeline completo, especifique o conjunto de dados de entrada e o conjunto de dados de avaliação.

6. (Opcionalmente) Insira parâmetros para as execuções do pipeline. Clique em Adicionar novo para exibir a seção Parâmetros e, em seguida, insira a variável de ambiente e seu valor correspondente. Vários parâmetros são aceitos.

7. Selecione se o pipeline requer uma GPU; por padrão, é definido como Não.

8. (Opcionalmente) Ative a opção Habilitar configurações de infraestrutura se quiser personalizar os recursos e tamanho de armazenamento para esta implantação específica. Se as configurações de infraestrutura estiverem habilitadas, os seguintes campos podem ser personalizados:

   Observação:

   Only change these values if you are sure they are the correct ones.

   

   • O tamanho de solicitação e tamanho limite para a RAM (GB).
   • O tamanho de solicitação e tamanho limite para a CPU.
   • Tamanho de armazenamento (GB).

9. Selecione quando o pipeline deve ser executado. As opções possíveis são:

   • Executar agora — o pipeline começa a ser executado imediatamente após sua criação.
   • Com base no tempo - o pipeline começa a ser executado na data e na hora que você especificar nos campos Data e Hora .
   • Recurring - the pipeline starts running according to the recurring schedule you set up in the Set Recurring Schedule window. You can set it up to run on specific weekdays at a certain time, or you can use cron expressions. Read here more information about scheduling pipelines.

10. Clique em Criar para criar o pipeline ou em Cancelar para anular o processo. A página Criar nova execução do pipeline é fechada.

    

O pipeline é criado e exibido juntamente com seus detalhes na página Pipelines e na guia Execuções do pipeline dos Detalhes do pecote de ML do pipeline selecionado. O pipeline é executado de acordo com o período de tempo que você escolheu ao criá-lo.

Agendamento de pipelines

Durante a criação, qualquer tipo de pipeline pode ser agendado em uma única data e hora futura ou com um agendamento recorrente. Por exemplo, um agendamento pode ser definido para que um pipeline seja executado aos domingos à 1h. Isso permite que os modelos sejam atualizados continuamente pois os dados são enviados de volta às tarefas com participação de seres humanos e, adicionalmente, permite o uso mais eficiente das licenças do AI Robot.

To create a pipeline to be scheduled at a single future date, select the Time based option in the Create new pipeline run page.

To create a pipeline with a recurring schedule, select the Recurring option in the Create new pipeline run page.

A more complex schedule than daily at some time can be set by selecting the Advanced tab in the Set Recurring Schedule window and entering a cron expression. There are many free online tools to easily generate cron expressions.

Edição dos pipelines agendados

É possível editar apenas pipelines que ainda não foram executados.

1. In the Pipelines page, click ⁝ next to a scheduled pipeline and select Details.

   Alternatively, in the ML Package Details of a specific package, select the Pipeline Runs tab, click ⁝ next to a scheduled pipeline and select Details. The Pipeline Details page is displayed.

2. Clique em Editar pipeline. A página Editar execução do pipeline é exibida.

3. É possível alterar o diretório de dados do pipeline agendado, bem como o agendamento recorrente.

4. Clique em Enviar para salvar as alterações. O pipeline agendado é exibido na página Pipelines com suas informações atualizadas.

   

Remoção de pipelines

1. In the Pipelines page, click ⁝ next to a pipeline and select Remove.

   Alternatively, in the ML Package Details of a specific package, select the Pipeline Runs tab, click ⁝ next to a pipeline and select Remove. A confirmation dialog is displayed.

2. Clique em OK para excluir o pipeline.

   Observação:

   A remoção de um pipeline enfileirado ou em execução primeiro o interrompe e, em seguida, o remove.

   If you just want to stop a queued or running pipeline and look at its logs, click ⁝ next to it and select the Details option to navigate its corresponding Pipeline Details page. You can stop the pipeline from there.

Visualização de detalhes do pipeline

É possível consultar mais informações sobre um pipeline específico ou executar outras ações.

• In the Pipelines page, click ⁝ next to a scheduled pipeline and select Details.
• Or, in the ML Package Details of a specific package, select the Pipeline Runs tab, click ⁝ next to a scheduled pipeline and select Details. The Pipeline Details page is displayed.

The information displayed and the actions you can perform here depend on the pipeline status.

Detalhes do pipeline agendado

A página Detalhes do pipeline para pipelines agendados mostra uma guia Informações.

É possível executar as seguintes ações:

• Excluir o pipeline.
• Editar o pipeline. Na página Editar execução do pipeline exibida, quaisquer campos podem ser atualizados. Selecionar Executar agora não cria um novo pipeline; em vez disso, ele executa esse pipeline imediatamente, removendo-o da lista de pipelines agendados.

Detalhes do pipeline enfileirado

A página Detalhes do pipeline para pipelines enfileirados mostra uma guia Informações.

É possível executar a seguinte ação:

• Kill the pipeline. This removes the pipeline from the queue, so it won't be executed and it won't consume AI Robots. Its status changes to Killed.

Detalhes do pipeline em execução

A página Detalhes do pipeline para pipelines em execução mostra uma guia Informações e logs em tempo real.

É possível executar a seguinte ação:

• Eliminar o pipeline. Isso interrompe o pipeline e muda seu status para Eliminado. Os logs mostram o instantâneo no momento em que a ação de eliminação foi executada.

Detalhes do pipeline com falha

A página Detalhes do pipeline para pipelines com falha mostra uma guia Informações e logs. Dependendo do estágio no qual esse pipeline falhou, as saídas do pipeline (parciais) são exibidas.

É possível executar a seguinte ação:

• Reinicie o pipeline. Isso adiciona um novo pipeline à fila, exatamente com os mesmos parâmetros com os quais ele foi criado. Se a fila estiver vazia, o pipeline começa imediatamente a ser executado.

Detalhes do pipeline eliminado

A página Detalhes do pipeline para pipelines Eliminados mostra uma guia Informações. Além disso, dependendo do ponto no qual esse pipeline foi eliminado, a página Detalhes do pipeline também pode incluir logs.

É possível executar as seguintes ações:

• Reinicie o pipeline.
• Remover o pipeline.

Detalhes do pipeline bem-sucedido

A página Detalhes do pipeline para pipelines Bem-sucedidos mostra uma guia Informações, logs e saídas do pipeline.

É possível executar as seguintes ações:

• Excluir o pipeline.
• Remover o pipeline.
• Reinicie o pipeline.