Detección de objetos

Nota:

Los paquetes ML listos para usar están obsoletos. Para obtener más información, consulta la página Línea de tiempo de obsolescencia en la guía Información general .

Paquetes del SO > Análisis de imagen > ObjectDetection

Este es un modelo de aprendizaje profundo genérico y reentrenable para llevar a cabo la detección de objetos. Este paquete ML está preentrenado en el conjunto de datos COCO, para que puedas crear directamente una habilidad ML que pueda utilizarse para identificar 80 clases del conjunto de datos COCO.

Bueno, también puedes entrenarlo en tus propios datos y crear una habilidad ML para usarla y realizar la detección de objetos, y así funcionará en tus datos.

Este modelo de aprendizaje profundo utiliza el algoritmo "You Only Look Once" (YOLO), que es uno de los algoritmos vanguardistas de detección de objetos más eficaces que también abarca muchas de las ideas más innovadoras que evolucionan desde el campo de la visión artificial.

Importante:

Ten en cuenta que este modelo no es compatible con GPU (tanto para el proceso como para la habilidad ML) hoy en día.

Detalles del modelo

Tipo de entrada

Archivo

Descripción de entrada

Ruta completa del archivo de imagen en el que quieres detectar los objetos.

Descripción de salida

JSON con la representación de la matriz de bytes de la clase del objeto identificado (te permite ver el cuadro alrededor de los objetos); clase del objeto identificado: nombre, puntuación (entre 0-1).

Ejemplo:

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Procesos

Este paquete solo admite ejecuciones de procesos completos.

Formato del conjunto de datos

ArchivoDeImagen

De forma predeterminada, este modelo leerá imágenes de formato.jpg,.jpeg. Comprueba los siguientes puntos de consideración para las imágenes de entrada:

• Ten todas las imágenes del mismo formato.
• Tener todas las imágenes del mismo tamaño, preferiblemente 800x600
• Ten al menos 100 imágenes o más de cada categoría de objeto.

Archivo de anotación XML

Para cada imagen cargada, debe haber un archivo .XML de anotación correspondiente que contenga los detalles de la casilla asociada a la imagen. El formato de archivo requerido para el archivo .XML es Pascal VOC.

Para anotar las imágenes, puedes utilizar una herramienta de anotación de código abierto como Label Studio o cualquier otra herramienta de tu preferencia.

Los siguientes son algunos puntos a tener en cuenta al crear los archivos .xml:

• Es preferible tener una sola clase en el archivo .zip.

• Dar un nombre significativo a la clase.

• Evitar cualquier alteración en .xml archivo. Consulta el siguiente ejemplo de una carpeta de conjunto de datos:

  

En el ejemplo anterior, notamos que hay cinco clases: gato, perro, jirafa, caballo, cebra y tienen imágenes y xml correspondientes en la carpeta del conjunto de datos. Por supuesto, tu carpeta de conjunto de datos tendrá más imágenes y xml. Este es solo un ejemplo para entender la estructura de carpetas.

Variables de entorno

• learning_rate: cambia este valor para ajustar la tasa de aprendizaje; la tasa de aprendizaje predeterminada es 0,0001.

Artefactos

La función de evaluación produce un artefacto: aquí el rendimiento del modelo se evalúa en el valor del mapa.

• result.txt: un informe que contiene información resumida de cómo el modelo se comportó al compartir el valor del mapa (precisión de media aritmética) de cada clase y el valor total del mapa.

Flujo de trabajo de muestra

Puedes usar este flujo de trabajo de muestra para probar este modelo. Asegúrate de que primero implementas el modelo en tu propio tenant y luego utiliza este flujo de trabajo con cualquiera de tus imágenes para enviar la imagen al flujo de trabajo e identificar automáticamente los objetos en esa imagen.

Dependencias

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papel

YOLOv3: An Incremental Improvement, de Joseph Redmon, Ali Farhadi.