Objekterkennung

OS-Pakete > Bildanalyse > ObjectDetection

Dies ist ein generisches, erneut trainierbares Deep-Learning-Modell für die Objekterkennung. Dieses ML-Paket ist im COCO-Dataset vortrainiert, sodass Sie direkt eine ML-Fähigkeit erstellen können, die zum Identifizieren von 80 Klassen des COCO-Datasets verwendet werden kann.

Gut, Sie können es auch mit Ihren eigenen Daten trainieren, eine ML-Fähigkeit erstellen und für die Durchführung der Objekterkennung verwenden, wobei diese nun mit Ihren Daten arbeitet.

Dieses Deep Learning-Modell verwendet „You only look once“ (YOLO), einen hochmodernen und einen der effizientesten Objekterkennungsalgorithmen, der auch viele der innovativsten Ideen auf dem Bereich Computer Vision umfasst.

Wichtig: Bitte beachten Sie, dass dieses Modell aktuell nicht auf GPU unterstützt wird (sowohl für Pipeline als auch für ML-Fähigkeit).

Modelldetails

Eingabetyp

File

Eingabebeschreibung

Vollständiger Pfad der Bilddatei, auf der Sie die Objekte erkennen möchten.

Ausgabebeschreibung

JSON mit der Byte-Array-Darstellung der Klasse des identifizierten Objekts (dadurch können Sie den Rahmen um die Objekte herum sehen) und der Klasse des identifizierten Objekts – Name, Punktzahl (zwischen 0 und 1)

Beispiel:

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Pipelines

Dieses Paket unterstützt nur vollständige Pipelineausführungen.

Dataset-Format

Bilddatei

Standardmäßig liest dieses Modell Bilder im Format .jpg und .jpeg. Im Folgenden finden Sie einige Hinweise zu den Eingabebildern:

• Alle Bilder sollten das gleiche Format haben
• Alle Bilder sollten die gleiche Größe haben, bevorzugt 800*600
• Mindestens 100+ Bilder für jede Objektkategorie

XML-Datei mit Anmerkungen

Für jedes hochgeladene Bild sollte eine entsprechende Annotations-.XML-Datei vorhanden sein, die die Bounding-Box-Details des Bilds enthält. Das erforderliche Dateiformat für die XML-Datei ist Pascal VOC.

Für die Anmerkungen der Bilder können Sie ein Open-Source-Anmerkungstool wie beispielsweise Label Studio oder jedes beliebige andere Tool verwenden.

Im Folgenden finden Sie einige Punkte, die beim Erstellen der XML-Dateien berücksichtigt werden sollten:

• Eine einzelne Klasse in den XML-Dateien wird bevorzugt XML-Datei
• Der Klasse einen aussagekräftigen Namen geben (wie oben)

• Vermeiden Sie Änderungen in der XML-Datei

  So sieht Ihr Dataset-Ordner aus:

  
  

  

  
  

In der obigen Abbildung gibt es fünf Klassen – cat, dog, giraffe, horse, zebra. Sie haben zugehörige Bilder und XML-Dateien im Dataset-Ordner. Natürlich wird Ihr Dataset-Ordner mehr Bilder und XML-Dateien haben; dies ist nur ein Beispiel zum Verständnis der Ordnerstruktur.

Umgebungsvariablen

• learning_rate: Ändern Sie diesen Wert, um die Lernrate anzupassen; die Standardlernrate ist 0,0001

Artefakte

Die Funktion „Auswertung“ erzeugt ein Artefakt: Hier wird die Modellleistung anhand des mAP-Wertes (mean Average Precision) bewertet

• result.txt – Ein Bericht, der zusammenfassende Informationen über die Leistung des Modells enthält, indem den mAP-Wert (mittlere durchschnittliche Präzision) jeder Klasse und den Gesamt-mAP-Wert angibt.

Beispielworkflow

Sie können diesen Beispielworkflow verwenden, um dieses Modell zu testen. Stellen Sie sicher, dass Sie das Modell zuerst auf Ihrem eigenen Mandanten bereitstellen und dann diesen Workflow mit einem Ihrer Bilder verwenden, um das Bild an den Workflow zu senden und Objekte in diesem Bild automatisch zu identifizieren.

Abhängigkeiten

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papier

YOLOv3: An Incremental Improvement von Joseph Redmon, Ali Farhadi