Auswertungspipelines

Eine Auswertungspipeline wird für die Auswertung eines trainierten Machine Learning-Modells verwendet. Um diese Pipeline zu verwenden, muss das Paket Code enthalten, um ein Modell auszuwerten (die Funktion evaluate() in der train.py-Datei). Dieser Code erzeugt zusammen mit einem Dataset oder Unterordner innerhalb eines Datasets eine Punktzahl (die Rückgabe der Funktion evaluate()) sowie alle beliebigen Ausgaben, die der Benutzer zusätzlich zur Punktzahl beibehalten möchten.

Erstellen von Auswertungspipelines

Erstellen Sie eine neue Auswertungspipeline, wie hier beschrieben. Stellen Sie sicher, dass Sie die folgenden Informationen für Auswertungspipelines zur Verfügung stellen:

• Wählen Sie im Feld Pipelinetyp die Option Auswertungsausführung aus.
• Wählen Sie im Feld Auswertungs-Dataset wählen ein Dataset oder einen Ordner aus, aus dem Sie Daten für die Auswertung importieren möchten. Alle Dateien in diesem Dataset/Ordner müssen während der Laufzeit der Pipeline lokal verfügbar sein und an das Argument an Ihre evaluate()-Funktion übergeben werden.
• Geben Sie im Abschnitt Parameter eingeben die von Ihrer Pipeline definierten und verwendeten Umgebungsvariablen ein, falls vorhanden. Die Umgebungsvariablen sind:
  • artifacts_directory mit Standardwert Artefakte: Dies definiert den Pfad zu einem Verzeichnis, das als Hilfsdaten im Zusammenhang mit dieser Pipeline beibehalten wird. Die meisten, wenn nicht sogar alle Benutzer werden dies niemals über die Benutzeroberfläche überschreiben müssen. Während der Pipelineausführung kann alles gespeichert werden, einschließlich Bilder, PDF-Dateien und Unterordner. Alle Daten, die Ihr Code in das Verzeichnis schreibt, welches durch den Pfad os.environ['artifacts_directory'] spezifiziert ist, werden am Ende der Pipelineausführung hochgeladen und können auf der Seite Pipelinedetails angezeigt werden.
  • save_test_data mit Standardwert false: Bei true wird der Ordner data_directory am Ende der Pipelineausführung als Ausgabe der Pipeline unter dem Verzeichnis data_directory hochgeladen.
    Hinweis: Die Pipelineausführung kann einige Zeit in Anspruch nehmen. Sehen Sie nach einer kurzen Zeit nach, ob sich der Status geändert hat.
    Nachdem die Pipeline ausgeführt wurde, änderte sich der Status der Pipeline auf der Seite Pipelines zu Erfolgreich. Auf der Seite Pipelinedetails werden die beliebigen Dateien und Ordner im Zusammenhang mit der Pipelineausführung angezeigt. In unserem Beispiel hat die Ausführung eine Datei mit dem Namen my-evaluate-artifact.txt erzeugt.

Konzeptanalogie für die Erstellung eigener Auswertungspipelines

Hier ist eine konzeptionell analoge Ausführung einer Auswertungspipeline auf einem Paket, zum Beispiel Version 1.1, die Ausgabe einer Trainingspipeline auf Version 1.0.

Hinweis: Dies ist ein vereinfachtes Beispiel. Damit soll veranschaulicht werden, wie Datasets und Pakete in einer Auswertungspipeline interagieren. Die Schritte sollen lediglich das Konzept vermitteln und stellen nicht die Funktionsweise der Plattform dar.

1. Kopieren Sie Paketversion 1.1 in ~/mlpackage.
2. Kopieren Sie den Auswertungs-Dataset oder den von der Benutzeroberfläche ausgewählten Dataset-Unterordner in ~/mlpackage/evaluation_data.
3. Führen Sie den folgenden Python-Code aus:

   from train import Main 
   m = Main() 
   score = m.evaluate('./evaluation_data')

   Die zurückgegebene Punktzahl wird im Raster angezeigt, das Pipelines und die Datei results.json anzeigt.
4. Behalten Sie geschriebene Artefakte bei und machen Sie Momentaufnahmen der Daten, wenn save_test_data auf true festgelegt ist.

Pipelineausgaben

Die Datei _results.json enthält eine Zusammenfassung der Pipelineausführung, die alle Eingaben/Ausgaben und Ausführungszeiten für eine Auswertungspipeline offenlegt.

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "evaluation_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "score": <score>, #float
        "train_data": "<test_storage_directory>", 
        "evaluation_data": "<test_storage_directory>/None", 
        "artifacts_data": "<artifacts_storage_directory>",
         }
    }
}

Der Ordner Artefakte ist nur sichtbar, wenn er nicht leer ist und gruppiert alle von der Pipeline generierten und im Ordner artifacts_directory gespeicherten Artefakte neu.

Der Ordner Dataset ist nur vorhanden, wenn save_data auf den Standardwert true festgelegt wurde und ist eine Kopie des Ordners „Auswertungs-Dataset“.

Modell-Governance

Wie bei Trainingspipelines kann ein Benutzer den Parameter save_test_data auf true festlegen, um Momentaufnahmen von Daten zu erstellen, die zur Bewertung übergeben werden.