Detecção de objetos

Pacotes do SO > Análise de imagens > ObjectDetection

Esse é um modelo de aprendizado profundo genérico retreinável para realizar a detecção de objetos. Esse pacote de ML é pré-treinado no Conjunto de dados COCO, para que você possa criar diretamente uma Habilidade de ML que possa ser usada para identificar 80 classes do conjuntos de dados COCO.

Bem, você também pode treiná-lo em seus próprios dados e criar uma Habilidade de ML e usá-la para realizar a detecção de objetos, que agora operará em seus dados.

Esse modelo de aprendizagem profunda usa "You only look once" (YOLO), que é um algoritmo de última geração e um dos algoritmos de detecção de objetos mais eficazes, abrangendo também muitas das ideias mais inovadoras que evoluem da área de visão computacional.

Importante: observe que este modelo não é suportado na GPU atualmente (tanto para pipeline quanto para habilidade de ML).

Detalhes do modelo

Tipo de Entrada

de transações

Descrição da entrada

Caminho completo do arquivo de imagem na qual você deseja detectar os objetos.

Descrição da saída

JSON com a representação de matriz de bytes da classe do objeto identificado (permite ver a caixa em torno de objetos), classe do objeto identificado: nome, pontuação (entre 0 e 1)

Exemplo:

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

Pipelines

Esse pacote só é compatível com execuções de pipeline completas.

Formato do conjunto de dados

Arquivo da Imagem

Por padrão, esse modelo lerá imagens do formato .jpg, .jpeg. Abaixo estão alguns pontos a se considerar para as imagens de entrada:

• Ter todas as imagens do mesmo formato
• Ter todas as imagens do mesmo tamanho, de preferência 800 x 600
• Ter pelo menos 100 imagens para cada categoria de objeto

Arquivo de anotação XML

Para cada imagem carregada, deve haver um arquivo .XML de anotação correspondente que contém os detalhes da caixa delimitadora da imagem. O formato de arquivo exigido para o arquivo .XML é o Pascal VOC.

Para criar anotações nas imagens, você pode usar uma ferramenta de código aberto como o Label Studio ou qualquer outra que você prefira.

Abaixo estão alguns pontos a serem considerados ao criar os arquivos .xml:

• É preferível ter uma única classe no arquivo .xml
• Dando um nome significativo à classe (como acima)

• Evitando quaisquer alterações no arquivo .xml

  Portanto, é assim que sua pasta do conjunto de dados ficará:

  
  

  

  
  

Na imagem acima, é possível ver que há cinco classes (gato, cão, girafa, cavalo e zebra), e elas têm imagens e xml correspondentes na pasta do conjunto de dados. É claro que sua pasta do conjuntos de dados terá mais imagens e xml, e esse é apenas um exemplo para entender a estrutura da pasta.

Variáveis de Ambiente

• learning_rate: altere esse valor para ajustar a taxa de aprendizado; a taxa de aprendizado padrão é 0,0001

Artefatos

Avaliar a função produz um artefato: aqui o desempenho do modelo é avaliado no valor do mapa

• result.txt - Um relatório que contém informações resumidas sobre como o modelo executado pelo mapa de compartilhamento (precisão média) de cada classe e o valor total do mapa

Fluxo de trabalho amostral

É possível usar essa amostra de fluxo de trabalho para experimentar esse modelo.Certifique-se de primeiro implantar o modelo em seu tenant e, em seguida, usar esse fluxo de trabalho com qualquer uma de sua imagens, para enviar a imagem para o fluxo de trabalho e identificar automaticamente objetos nessa imagem.

Dependências

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Papel

YOLOv3: An Incremental Improvement, de Joseph Redmon, Ali Farhadi