Pipelines verwalten

Erstellen von Pipelines

1. Klicken Sie auf der Seite Pipelines auf die Schaltfläche Neue erstellen. Die Seite Neue Pipelineausführung erstellen wird angezeigt.

   Alternativ wählen Sie in den ML-Paketdetails eines bestimmten Pakets die Option Pipeline-Ausführungen aus und klicken dann auf die Schaltfläche Neue erstellen. Die Seite Neue Pipelineausführung erstellen wird angezeigt.

2. Wählen Sie auf der Seite Neue Pipelineausführung erstellen den Typ der Pipelineausführung aus. Die verfügbaren Optionen sind Trainingsausführung, Auswertungsausführung und Vollständige Pipelineausführung.
3. Fügen Sie einen Anzeigenamen für die Pipelineausführung hinzu.
4. Wählen Sie das Paket für die Pipelineausführung aus.
5. Wählen Sie die Haupt- und Nebenversionen des Pakets aus.
6. Wählen Sie Datasets aus. Entsprechend dem ausgewählten Pipelinetyp müssen die folgenden Datasets angegeben werden:
   • Geben Sie für die Trainingspipeline das Eingabe-Dataset an.
   • Geben Sie für die Auswertungspipeline das Auswertungs-Dataset an.
   • Geben Sie für die vollständige Pipelineausführung das Eingabe-Dataset und das Auswertungs-Dataset an.
7. Optional: Geben Sie die Parameter für die Pipeline-Ausführungen ein. Klicken Sie auf Neu hinzufügen , um den Parameterabschnitt anzuzeigen, und geben Sie dann die Umgebungsvariable und den entsprechenden Wert ein. Es werden mehrere Parameter akzeptiert.
8. Wählen Sie aus, ob die Pipeline eine GPU benötigt. Standardmäßig ist dies auf Nein festgelegt.
   Hinweis: Wenn Sie das Lizenzierungsmodell für AI Units verwenden, werden die stündlichen Kosten von AI Units in der Umschaltfläche GPU aktivieren angezeigt. Je nachdem, ob Sie GPU verwenden möchten oder nicht, ändern sich die stündlichen Kosten.
   Hinweis: Sie können Pipelines basierend auf den GPU-Ressourcen in die Warteschlange einreihen. Weitere Informationen finden Sie unter Konfigurieren von Warteschlangen für GPU-Ressourcen.
9. Wählen Sie aus, wann die Pipeline ausgeführt werden soll. Folgende Optionen stehen zur Auswahl:
   • Jetzt ausführen – Die Pipeline wird sofort nach ihrer Erstellung ausgeführt.
   • Zeitbasiert – Die Pipeline beginnt mit der Ausführung an dem Datum und der Uhrzeit, die Sie in den Feldern Datum und Uhrzeit angeben.
   • Wiederkehrend – Die Pipeline wird gemäß dem wiederkehrenden Zeitplan ausgeführt, den Sie im Fenster Wiederkehrenden Zeitplan festlegen einrichten können. Sie können das Ganze so einrichten, dass die Pipeline an bestimmten Wochentagen zu einem bestimmten Zeitpunkt ausgeführt wird, oder Sie können CRON-Ausdrücke verwenden.

   Weitere Informationen zum Planen von Pipelines finden Sie hier.

10. Klicken Sie auf Erstellen, um die Pipeline zu erstellen, oder auf Abbrechen, um den Prozess abzubrechen. Die Seite Neue Pipelineausführung erstellen wird geschlossen.
    
    

    

    
    

Die Pipeline wird erstellt und zusammen mit ihren Details auf der Seite Pipelines und auf der Seite ML-Paketdetails des ausgewählten Pakets auf der Registerkarte Pipeline-Ausführungen angezeigt. Die Pipeline läuft nach dem Zeitrahmen, den Sie bei der Erstellung ausgewählt haben.

Planen von Pipelines

Während der Erstellung kann jeder Pipelinetyp entweder an einem einzigen zukünftigen Zeitpunkt (Datum/Uhrzeit) oder mit einem wiederkehrenden Zeitplan geplant werden. Beispielsweise kann ein Zeitplan für die Ausführung einer Pipeline am Sonntag um 1 Uhr morgens festgelegt werden. Dadurch können Modelle kontinuierlich aktualisiert werden, da Daten von Aufgaben mit menschlichem Eingreifen zurückgeschickt werden. Er ermöglicht außerdem eine effizientere Nutzung von AI Unit-Lizenzen.

⏲ Um eine Pipeline zu erstellen, die an einem einzigen zukünftigen Datum geplant werden soll, wählen Sie die Option Zeitbasiert auf der Seite Neue Pipelineausführung erstellen aus.

📅 Um eine Pipeline mit einem wiederkehrenden Zeitplan zu erstellen, wählen Sie die Option Wiederkehrend auf der Seite Neue Pipelineausführung erstellen aus.

⚙ Ein komplexerer Zeitplan als täglich zu einem Zeitpunkt kann festgelegt werden, indem Sie die Registerkarte Erweitert im Fenster Wiederkehrenden Zeitplan festlegen auswählen und einen CRON-Ausdruck eingeben. Es gibt viele kostenlose Online-Tools, um CRON-Ausdrücke einfach zu generieren.

Konfigurieren von Warteschlangen für GPU-Ressourcen

Es gibt ressourcenbegrenzte Cluster, insbesondere unter Berücksichtigung der Anzahl der bereitgestellten GPUs.

Der Warteschlangenmechanismus verwaltet GPU-Nutzungsanforderungen, überwacht den GPU-Status und führt die Anforderungen aus, wenn eine GPU verfügbar wird. Die Ressourcenverwaltung verbessert die Effizienz bei der Nachverfolgung und erneuten Initiierung von Anforderungen.

So konfigurieren Sie Warteschlangen für GPU-Ressourcen:

1. Wechseln Sie zu ArgoCD AICenter- Anwendungen.
   
   

   

   
   
2. Klicken Sie auf die Schaltfläche App-Details , um die Anwendungsdetails anzuzeigen.
   
   

   

   
   
3. Klicken Sie auf die Registerkarte Parameter , um die Parameter und deren Details anzuzeigen.
   
   

   

   
   

• global.waitQueue.gpuCount Legen Sie die Anzahl der GPU-Ressourcen fest, die für das Modelltraining verfügbar sind.
• global.waitQueue.queueLength Legen Sie die maximale Warteschlangenlänge fest. Darüber hinaus werden keine neuen Anforderungen in die Warteschlange eingereiht. Die empfohlene Warteschlangenlänge ist 5*numGPUs.

Aktivierung der Funktion

Legen Sie die Eigenschaft global.waitQueue.enabled auf true fest.

Konfiguration

Optional: Ändern Sie global.waitQueue.gpuCount oder global.waitQueue.queueLength.

Funktion

Die Funktion ist jetzt aktiviert. Wenn Sie 2 aufeinanderfolgende GPU-Pipelines auslösen, wartet eine auf den Abschluss der anderen.

Bearbeiten geplanter Pipelines

Sie können nur Pipelines bearbeiten, die noch nicht ausgeführt wurden.

1. Wechseln Sie zur Seite Pipelinedetails.
   • Klicken Sie auf der Seite Pipelines neben einer geplanten Pipeline auf ⁝ und wählen Sie Details aus.
   • Wählen Sie in den ML-Paketdetails eines bestimmten Pakets die Registerkarte Pipelineausführungen aus, klicken Sie auf ⁝ neben einer geplanten Pipeline und wählen Sie Details aus. Die Seite Pipelinedetails wird angezeigt.
2. Klicken Sie auf Pipeline bearbeiten. Die Seite Pipelineausführung bearbeiten wird angezeigt.
3. Sie können den Namen der Pipeline, das Datenverzeichnis der geplanten Pipeline sowie den wiederkehrenden Zeitplan ändern.
4. Klicken Sie auf Einreichen, um die Änderungen zu speichern. Die geplante Pipeline wird auf der Seite Pipelines mit den aktualisierten Informationen angezeigt.
   
   

   

   
   

Entfernen von Pipelines

1. Eine Pipeline entfernen
   • Klicken Sie auf der Seite Pipelines neben einer Pipeline auf ⁝ und wählen Sie Entfernen aus.
   • Wählen Sie in den ML-Paketdetails eines bestimmten Pakets die Registerkarte Pipelineausführungen aus, klicken Sie auf ⁝ neben einer Pipeline und wählen Sie Entfernen aus. Ein Bestätigungsdialogfeld wird angezeigt.
2. Klicken Sie auf Ok, um die Pipeline zu löschen.
   Hinweis:

   Durch das Entfernen einer Pipeline, die auf Ressourcen wartet, oder einer laufenden Pipeline entfernt wird, wird sie zuerst angehalten und dann entfernt.

   Wenn Sie eine verpackende, in der Warteschlange befindliche oder aktuell ausgeführte Pipeline lediglich anhalten und sich deren Protokolle ansehen möchten, klicken Sie neben ihr auf ⁝ und wählen Sie die Option Details aus, um auf die entsprechende Seite Pipelinedetails zu gelangen. Von dort aus können Sie die Pipeline anhalten.

Anzeigen von Pipelinedetails

Sie können weitere Informationen über eine bestimmte Pipeline einsehen oder andere Aktionen ausführen.

• Klicken Sie auf der Seite Pipelines neben einer geplanten Pipeline auf ⁝ und wählen Sie Details aus.

• Wählen Sie in den ML-Paketdetails eines bestimmten Pakets die Registerkarte Pipelineausführungen aus, klicken Sie auf ⁝ neben einer geplanten Pipeline und wählen Sie Details aus. Die Seite Pipelinedetails wird angezeigt.
• Wenn ein ML-Paket von einer Pipeline generiert wird, können Sie alternativ direkt im Fenster ML-Paket auf alle Informationen zur Pipeline zugreifen, indem Sie auf das Drei-Punkte-Menü ⁝ und dann auf Pipelinedetails klicken. Diese Option ist nur für neue Pipelines verfügbar.

Die angezeigten Informationen und die Aktionen, die Sie hier ausführen können, hängen vom Pipelinestatus ab.

Details zu geplanten Pipelines

Bei geplanten Pipelines wird auf der Seite Pipelinedetails eine Registerkarte „Informationen“ angezeigt.

Sie können die folgenden Aktionen ausführen:

Die Pipeline löschen.

Die Pipeline bearbeiten. Auf der angezeigten Seite Pipelineausführung bearbeiten können alle Felder aktualisiert werden. Wenn Sie Jetzt ausführen auswählen, wird keine neue Pipeline erstellt, sondern diese Pipeline sofort ausgeführt, wodurch sie aus der Liste der geplanten Pipelines entfernt wird.

Details zu Verpackungspipelines

Bei Verpackungspipelines wird auf der Seite Pipelinedetails eine Registerkarte „Informationen“ angezeigt.

Sie können die folgende Aktion ausführen:

Die Pipeline beenden. Dadurch wird die Ausführung der Pipeline gestoppt, sodass sie nicht ausgeführt wird und keine AI Units verbraucht. Der Status ändert sich in „Beendet“.

Details zu auf Ressourcen wartende Pipelines

Bei auf Ressourcen wartende Pipelines wird auf der Seite Pipelinedetails eine Registerkarte „Informationen“ angezeigt.

Sie können die folgende Aktion ausführen:

Die Pipeline beenden. Dadurch wird die Pipeline aus der Warteschlange entfernt, sodass sie nicht ausgeführt wird und keine AI Units verbraucht. Der Status ändert sich in „Beendet“.

Details zu laufenden Pipelines

Bei laufenden Pipelines wird auf der Seite Pipelinedetails eine Registerkarte „Informationen“ und Echtzeitprotokolle angezeigt.

Sie können die folgende Aktion ausführen:

Die Pipeline beenden. Dadurch wird die Pipeline sofort angehalten und ihr Status ändert sich in „Beendet“. Die Protokolle zeigen die Momentaufnahme zu dem Zeitpunkt, als die Aktion „Beenden“ durchgeführt wurde.

Details zu fehlgeschlagenen Pipelines

Bei fehlgeschlagenen Pipelines werden auf der Seite Pipelinedetails eine Registerkarte „Informationen“ und Protokolle angezeigt. Abhängig von der Phase, in der diese Pipeline fehlgeschlagen ist, werden (teilweise) Pipelineausgaben angezeigt.

Sie können die folgende Aktion ausführen:

Die Pipeline erneut starten. Dadurch wird der Warteschlange eine neue Pipeline mit genau den gleichen Parametern hinzugefügt, mit denen sie erstellt wurde. Wenn die Warteschlange leer ist, beginnt die Pipeline sofort mit der Ausführung.

Details zu beendeten Pipelines

Bei beendeten Pipelines wird auf der Seite Pipelinedetails eine Registerkarte „Informationen“ angezeigt. Je nachdem, an welchem Punkt diese Pipeline beendet wurde, kann die Seite mit den Pipelinedetails auch Protokolle enthalten.

Sie können die folgenden Aktionen ausführen:

Die Pipeline erneut starten.

Eine Pipeline entfernen

Details zu erfolgreichen Pipelines

Bei erfolgreichen Pipelines werden auf der Seite Pipelinedetails eine Registerkarte „Informationen“, Protokolle und Pipelineausgaben angezeigt.

Sie können die folgenden Aktionen ausführen:

Die Pipeline löschen.

Eine Pipeline entfernen

Die Pipeline erneut starten.

Protokolle

Sie können einen Bericht der Pipelineausführung aus dem Abschnitt Protokolle herunterladen. Klicken Sie dazu auf die Schaltfläche Pipelinebericht herunterladen.

Wir empfehlen, diesen Bericht bei der Übermittlung eines Problems beizufügen, um eine schnellere Fehlerbehebung zu ermöglichen.

Dieser Bericht sammelt alle erforderlichen Informationen zum Debuggen eines Problems, einschließlich Konto-ID, Mandanten-ID, AI Units und den jeweiligen Informationen zu Paketen und Pipelines.

Im folgenden Screenshot finden Sie ein Beispiel für einen Bericht der Pipelineausführung.