À propos des pipelines

Un pipeline est une description d'un workflow d'apprentissage automatique, contenant toutes les fonctions du workflow et tous les ordres d'exécution de ces fonctions. Le pipeline comprend la définition des entrées requises pour exécuter le pipeline et les sorties issues de ce pipeline.

Une exécution de pipeline est l'exécution d'un pipeline basée sur le code fourni par l'utilisateur. Une fois terminée, l'exécution de pipeline dispose de sorties et des journaux associés.

Il existe trois types de pipelines :

• Pipeline d'entraînement (Training Pipeline) : prend pour entrée un package et un ensemble de données, et produit une nouvelle version de package.
• Pipeline d'évaluation (Evaluation Pipeline) : prend pour entrée une version de package et un ensemble de données, et produit un ensemble de mesures et de journaux.
• Pipeline complet : Exécute une fonction de traitement et un pipeline d'entraînement, immédiatement suivis d'un pipeline d'évaluation.
  Astuce :

  Les exemples utilisés pour expliquer ces concepts sont basés sur l'exemple de package tutorialpackage.zip, que vous pouvez télécharger en cliquant sur le bouton ci-dessous. Nous vous recommandons de télécharger cet exemple de package si vous découvrez les pipelines pour la première fois. Assurez-vous de l'activer pour l'entraînement.

  Télécharger un exemple de package

La page Pipelines, accessible depuis le menu Pipelines après avoir sélectionné un projet, vous permet d'afficher tous les pipelines de ce projet, ainsi que des informations sur leur type et leur package associé, ainsi que la version, le statut, l'heure de création, la durée et le score du package. Vous pouvez ici créer de nouveaux pipelines, accéder aux détails des pipelines existants ou supprimer des pipelines.

Remarque : les appels sortants ne sont pas pris en charge par les compétences ML ou les pipelines.

État du pipeline

Une exécution de pipeline peut avoir l'un des statuts suivants :

• Programmé : Un pipeline programmé pour un démarrage futur (par exemple à 01h00 du matin tous les lundis). À la date et à l'heure définies pour qu'un pipeline commence à s'exécuter, le pipeline se met en file d'attente pour s'exécuter.
• Packaging : Un pipeline qui a commencé à créer l'image docker sur laquelle la tâche même sera exécuté. Si c'est la première fois que vous entraînez cette version spécifique du paquet ML, cela peut prendre jusqu'à 20 minutes.
• En attente de ressources (Waiting for resources) : Un pipeline qui recherche une licence disponible à exécuter. Le pipeline vérifie toutes les 5 minutes si une nouvelle licence est disponible (cela se produira si vous supprimez les compétences ML en cours d'exécution ou si un autre Pipeline est terminé) et démarrera dès que ce sera le cas.
• En cours d'exécution : Un pipeline qui a démarré et qui est en cours d'exécution.
• Échec : Un pipeline qui a échoué lors de l'exécution.
  Remarque : les pipelines peuvent échouer si la taille de l'ensemble de données dépasse la limite de 50 Go.
• Arrêté de force : Un pipeline qui s'exécutait jusqu'à ce que l'utilisateur ait explicitement demandé son arrêt.
• Réussi : Un pipeline qui a terminé l'exécution.
  Remarque : les pipelines sont automatiquement arrêtés après sept jours pour éviter d'être bloqués pendant de plus longues périodes et de consommer des licences.