Detección de objetos

Paquetes del SO > Análisis de imagen > ObjectDetection

Este es un modelo de aprendizaje profundo genérico y reentrenable para llevar a cabo la detección de objetos. Este paquete ML está preentrenado en el Conjunto de datos COCO para que puedas crear una habilidad ML directamente que puede usarse para identificar 80 clases del conjunto de datos COCO.

Bueno, también puedes entrenarlo en tus propios datos y crear una habilidad ML para usarla y realizar la detección de objetos, y así funcionará en tus datos.

Este modelo de aprendizaje profundo utiliza "You Only Look Once" (YOLO), uno de los algoritmos de detección de objetos de última generación más eficaces y que también abarca muchas de las ideas más innovadoras que evolucionan en el campo de la computer vision.

Importante: Ten en cuenta que este modelo no funciona de momento con GPU (tanto para Proceso como para Habilidad ML).

Detalles del modelo

Tipo de entrada

Archivo

Descripción de entrada

Ruta completa del archivo de imagen en el que quieres detectar los objetos.

Descripción de salida

JSON con la representación de la matriz de bytes de la clase del objeto identificado (te permite ver el cuadro alrededor de los objetos); clase del objeto identificado: nombre, puntuación (entre 0-1).

Ejemplo:

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Procesos

Este paquete solo admite ejecuciones de procesos completos.

Formato del conjunto de datos

ArchivoDeImagen

De forma predeterminada, este modelo leerá las imágenes de formato .jpg y .jpeg. A continuación se muestran algunas consideraciones para las imágenes de input:

• Ten todas las imágenes del mismo formato.
• Ten todas las imágenes del mismo tamaño (preferentemente 800*600).
• Ten al menos 100 imágenes o más de cada categoría de objeto.

Archivo de anotación XML

Para cada imagen cargada, debe haber un archivo .XML de anotación correspondiente que contenga los detalles de la casilla asociada a la imagen. El formato de archivo requerido para el archivo .XML es Pascal VOC.

Para anotar las imágenes, puedes utilizar una herramienta de anotación de código abierto como Label Studio o cualquier otra herramienta de tu preferencia.

A continuación se muestran algunas consideraciones al crear los archivos .xml:

• Es preferible tener una sola clase en el archivo .zip
• Asigna un nombre significativo a la clase (como en el caso anterior).

• Evita cualquier alteración en el archivo .zip

  La carpeta de conjuntos de datos tendrá el siguiente aspecto:

  
  

  

  
  

En la imagen anterior, podemos ver que hay 5 clases (gato, perro, jirafa, caballo y cebra) y que estas tienen las imágenes y los .xml correspondientes en la carpeta del conjunto de datos. Por supuesto que tu carpeta de conjuntos de datos tendrá más imágenes y archivos .xml; esto es solo un ejemplo para entender la estructura de carpetas.

Variables de entorno

• learning_rate: cambia este valor para ajustar la tasa de aprendizaje; la tasa de aprendizaje predeterminada es 0,0001.

Artefactos

La función de evaluación produce un artefacto: aquí el rendimiento del modelo se evalúa en el valor del mapa.

• result.txt: un informe que contiene información resumida de cómo el modelo se comportó al compartir el valor del mapa (precisión de media aritmética) de cada clase y el valor total del mapa.

Flujo de trabajo de muestra

Puedes usar este flujo de trabajo de muestra para probar este modelo. Asegúrate de que primero implementas el modelo en tu propio tenant y luego utiliza este flujo de trabajo con cualquiera de tus imágenes para enviar la imagen al flujo de trabajo e identificar automáticamente los objetos en esa imagen.

Dependencias

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papel

YOLOv3: una mejora progresiva, por Joseph Redmon y Ali Farhadi