Detección de objetos

Paquetes del SO > Análisis de imagen > ObjectDetection

Este es un modelo de aprendizaje profundo genérico y reentrenable para llevar a cabo la detección de objetos. Este paquete ML está preentrenado en el Conjunto de datos COCO para que puedas crear una habilidad ML directamente que puede usarse para identificar 80 clases del conjunto de datos COCO.

Bueno, también puedes entrenarlo en tus propios datos y crear una habilidad ML para usarla y realizar la detección de objetos, y así funcionará en tus datos.

Este modelo de aprendizaje profundo utiliza "You Only Look Once" (YOLO), uno de los algoritmos de detección de objetos de última generación más eficaces y que también abarca muchas de las ideas más innovadoras que evolucionan en el campo de la computer vision.

Importante: Ten en cuenta que este modelo no funciona de momento con GPU (tanto para Proceso como para Habilidad ML).

Detalles del modelo

Tipo de entrada

Archivo

Descripción de entrada

Ruta completa del archivo de imagen en el que quieres detectar los objetos.

Descripción de salida

JSON con la representación de la matriz de bytes de la clase del objeto identificado (te permite ver el cuadro alrededor de los objetos); clase del objeto identificado: nombre, puntuación (entre 0-1).

Ejemplo:

 {
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Procesos

Este paquete solo admite ejecuciones de procesos completos.

Formato del conjunto de datos

ArchivoDeImagen

By default, this model will read images of format .jpg, .jpeg. Check the following points of considerations for the input images:

• Ten todas las imágenes del mismo formato.
• Having all images of same size, preferred 800x600
• Ten al menos 100 imágenes o más de cada categoría de objeto.

Archivo de anotación XML

Para cada imagen cargada, debe haber un archivo .XML de anotación correspondiente que contenga los detalles de la casilla asociada a la imagen. El formato de archivo requerido para el archivo .XML es Pascal VOC.

Para anotar las imágenes, puedes utilizar una herramienta de anotación de código abierto como Label Studio o cualquier otra herramienta de tu preferencia.

The following are some points to be considered while creating the .xml files:

• Its preferred to have single class in the .xml file.
• Giving meaningful name to the class.
• Avoiding any alterations in .xml file.

  Check the following example of a dataset folder:

  
  

  

  
  

In the previous example we notice that there are five classes – cat, dog, giraffe, horse, zebra and they have corresponding images and xml’s in the dataset folder. Of course, your dataset folder will have more images and xml’s this is just an example to understand the folder structure.

Variables de entorno

• learning_rate: cambia este valor para ajustar la tasa de aprendizaje; la tasa de aprendizaje predeterminada es 0,0001.

Artefactos

La función de evaluación produce un artefacto: aquí el rendimiento del modelo se evalúa en el valor del mapa.

• result.txt: un informe que contiene información resumida de cómo el modelo se comportó al compartir el valor del mapa (precisión de media aritmética) de cada clase y el valor total del mapa.

Flujo de trabajo de muestra

Puedes usar este flujo de trabajo de muestra para probar este modelo. Asegúrate de que primero implementas el modelo en tu propio tenant y luego utiliza este flujo de trabajo con cualquiera de tus imágenes para enviar la imagen al flujo de trabajo e identificar automáticamente los objetos en esa imagen.

Dependencias

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papel

YOLOv3: una mejora progresiva, por Joseph Redmon y Ali Farhadi