Détection d'objets

Packages du système d'exploitation (OS Packages) > Analyse d'image (Image Analysis) > ObjectDetection

Il s'agit d'un modèle d'apprentissage profond générique et réutilisable pour effectuer la détection d'objets. Ce paquet ML est pré-entraîné sur l'ensemble de données COCO afin que vous puissiez créer directement une compétence ML qui peut être utilisée pour identifier 80 classes de l'ensemble de données COCO.

Eh bien, vous pouvez également l'entraîner sur vos propres données et créer une compétence ML et l'utiliser pour effectuer la détection d'objets où elle fonctionnera désormais sur vos données.

Ce modèle d'apprentissage en profondeur utilise You only look once (YOLO), un algorithme de détection d'objets à la pointe de la technologie et parmi les plus efficaces, qui englobe également bon nombre des idées les plus innovantes issues du domaine de la vision par ordinateur.

Attention : veuillez noter que ce modèle n'est pas pris en charge sur GPU (à la fois pour Pipeline et ML Skill) actuellement.

Détails du modèle

Type d'entrée

File

Description de l'entrée

Chemin complet du fichier image sur lequel vous souhaitez détecter les objets.

Description de la sortie

JSON avec représentation du tableau d'octets de la classe de l'objet identifié (vous permet de voir la boîte autour des objets), la classe de l'objet identifié - nom, score (entre 0 et 1)

Exemple :

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Pipelines

Ce package prend uniquement en charge les exécutions complètes du pipeline.

Format d'ensemble de données

Fichier image

Par défaut, ce modèle lira les images au format .jpg et .jpeg. Voici quelques points à prendre en compte pour les images d'entrée :

• Avoir toutes les images du même format
• Avoir toutes les images à la même taille, de préférence 800*600
• Avoir au moins + de 100 images pour chaque catégorie d'objet

Fichier d'annotation XML

Pour chaque image téléchargée, il doit y avoir un fichier d'annotation .XML correspondant qui contient les détails de la boîte englobante de l'image. Le format de fichier requis pour le fichier .XML est Pascal VOC.

Pour annoter les images, vous pouvez utiliser un outil d'annotation open source comme Label Studio ou tout autre outil de votre choix.

Vous trouverez ci-dessous quelques points à prendre en compte lors de la création des fichiers .xml :

• Il est préférable d'avoir une seule classe dans le fichier .xml .xml
• Donner un nom significatif à la classe (comme ci-dessus)

• Éviter toute modification dans le fichier .xml

  Voici à quoi ressemblera votre dossier de jeu de données :

  
  

  

  
  

Dans l'image ci-dessus, nous pouvons voir qu'il y a 5 classes - chat, chien, girafe, cheval, zèbre, et qu'ils ont des images et des XML correspondants dans le dossier de l'ensemble de données. Bien sûr, votre dossier d'ensemble de données contiendra plus d'images et de XML, ce n'est qu'un exemple pour comprendre la structure du dossier.

Variables de l'environnement

• learning_rate : modifiez cette valeur pour ajuster le taux d'apprentissage, le taux d'apprentissage par défaut est de 0,0001

Artefacts

La fonction d'évaluation produit un artefact : ici, les performances du modèle sont évaluées sur la valeur de la carte

• result.txt - Un rapport contenant des informations récapitulatives sur les performances du modèle en partageant la valeur de la carte (précision moyenne) de chaque classe et la valeur totale de la carte

Exemple de workflow

Vous pouvez utiliser cet exemple de Workflow pour essayer ce modèle. Assurez-vous d'abord de déployer le modèle sur votre propre locataire, puis d'utiliser ce workflow avec l'une de vos images pour envoyer l'image au workflow et identifier automatiquement les objets dans cette image.

Dépendances

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papier

YOLOv3 : An Incremental Improvement par Joseph Redmon, Ali Farhadi