Objekterkennung

OS-Pakete > Bildanalyse > ObjectDetection

Dies ist ein generisches, erneut trainierbares Deep-Learning-Modell für die Objekterkennung. Dieses ML-Paket ist im COCO-Dataset vortrainiert, sodass Sie direkt eine ML-Fähigkeit erstellen können, die zum Identifizieren von 80 Klassen des COCO-Datasets verwendet werden kann.

Gut, Sie können es auch mit Ihren eigenen Daten trainieren, eine ML-Fähigkeit erstellen und für die Durchführung der Objekterkennung verwenden, wobei diese nun mit Ihren Daten arbeitet.

Dieses Deep Learning-Modell verwendet „You only look once“ (YOLO), einen hochmodernen und einen der effizientesten Objekterkennungsalgorithmen, der auch viele der innovativsten Ideen auf dem Bereich Computer Vision umfasst.

Wichtig: Bitte beachten Sie, dass dieses Modell aktuell nicht auf GPU unterstützt wird (sowohl für Pipeline als auch für ML-Fähigkeit).

Modelldetails

Eingabetyp

File

Eingabebeschreibung

Vollständiger Pfad der Bilddatei, auf der Sie die Objekte erkennen möchten.

Ausgabebeschreibung

JSON mit der Byte-Array-Darstellung der Klasse des identifizierten Objekts (dadurch können Sie den Rahmen um die Objekte herum sehen) und der Klasse des identifizierten Objekts – Name, Punktzahl (zwischen 0 und 1)

Beispiel:

 {
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Pipelines

Dieses Paket unterstützt nur vollständige Pipelineausführungen.

Dataset-Format

Bilddatei

By default, this model will read images of format .jpg, .jpeg. Check the following points of considerations for the input images:

• Alle Bilder sollten das gleiche Format haben
• Having all images of same size, preferred 800x600
• Mindestens 100+ Bilder für jede Objektkategorie

XML-Datei mit Anmerkungen

Für jedes hochgeladene Bild sollte eine entsprechende Annotations-.XML-Datei vorhanden sein, die die Bounding-Box-Details des Bilds enthält. Das erforderliche Dateiformat für die XML-Datei ist Pascal VOC.

Für die Anmerkungen der Bilder können Sie ein Open-Source-Anmerkungstool wie beispielsweise Label Studio oder jedes beliebige andere Tool verwenden.

The following are some points to be considered while creating the .xml files:

• Its preferred to have single class in the .xml file.
• Giving meaningful name to the class.
• Avoiding any alterations in .xml file.

  Check the following example of a dataset folder:

  
  

  

  
  

In the previous example we notice that there are five classes – cat, dog, giraffe, horse, zebra and they have corresponding images and xml’s in the dataset folder. Of course, your dataset folder will have more images and xml’s this is just an example to understand the folder structure.

Umgebungsvariablen

• learning_rate: Ändern Sie diesen Wert, um die Lernrate anzupassen; die Standardlernrate ist 0,0001

Artefakte

Die Funktion „Auswertung“ erzeugt ein Artefakt: Hier wird die Modellleistung anhand des mAP-Wertes (mean Average Precision) bewertet

• result.txt – Ein Bericht, der zusammenfassende Informationen über die Leistung des Modells enthält, indem den mAP-Wert (mittlere durchschnittliche Präzision) jeder Klasse und den Gesamt-mAP-Wert angibt.

Beispielworkflow

Sie können diesen Beispielworkflow verwenden, um dieses Modell zu testen. Stellen Sie sicher, dass Sie das Modell zuerst auf Ihrem eigenen Mandanten bereitstellen und dann diesen Workflow mit einem Ihrer Bilder verwenden, um das Bild an den Workflow zu senden und Objekte in diesem Bild automatisch zu identifizieren.

Abhängigkeiten

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papier

YOLOv3: An Incremental Improvement von Joseph Redmon, Ali Farhadi