目标检测

OS 包 > 图像分析 > 目标检测

这是一个通用、可重新训练的深度学习模型，用于执行目标检测。该 ML 包已针对 COCO 数据集进行预训练，因此您可以直接创建可用于识别 COCO 数据集的 80 个类的 ML 技能。

好了，您也可以针对自己的数据训练该 ML 包，然后创建 ML 技能，并使用该技能来执行目标检测，以使其现在可用于处理您的数据。

此深度学习模型使用 You only look once (YOLO)，这是一种先进的、最有效的目标检测算法，其中也包含了计算机视觉领域提出的许多最具创意的概念。

重要事项：请注意，GPU（适用于管道和 ML 技能）目前不支持此模型。

模型详细信息

输入类型

文件

输入说明

要在其上检测物体的图像文件的完整路径。

输出说明

JSON，其中包含已识别对象的类字节数组表示（可用于查看物体周围的方框）、已识别对象的类（名称）和分数（0 到 1）

示例：

{
  "Predicted ByteArray":
    "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAIBAQEBAQIBAQECAgICAgQDAgI…TD",
  "Predicted Class":
     "[{'class': 'book', 'score': ' 0.31'}, {'class': 'dog', 'score': ' 0.53'}, {'class': 'chair', 'score': ' 0.79'}]"
}

管道

此包仅支持完整管道运行。

数据集格式

图像文件

默认情况下，此模型将读取 .jpg 和 .jpeg 格式的图像。以下是与输入图像相关的一些注意事项：

• 所有图像具有相同格式
• 所有图像具有相同尺寸，首先 800*600
• 每个物体类别的图像计数至少达到 100

XML 批注文件

对于每个上传的图像，都应该有一个相应的注释 .XML 文件，其中包含图像的边界框详细信息。 .XML 文件所需的文件格式为 Pascal VOC。

要为图像添加批注，您可以使用开源批注工具（如Label Studio ）或您喜欢的任何其他工具。

以下是创建 .xml 时需要考虑的几点：

• 最好在 .xml 文件中包含单个类文件中进行任何更改
• 为类命名有意义的名称（如上）

• 避免在 .xml 文件中进行任何更改

  这就是您的数据集文件夹的外观：

  
  

  

  
  

在上图中，我们可以看到有 5 个类 – cat、dog、giraffe、horse 和 zebra，它们在 dataset 文件夹中有对应的图像和xml。当然，您的 dataset 文件夹将包含更多图像和 xml，这只是了解文件夹结构的一个示例。

环境变量

• learning_rate：更改此值以调整学习率，默认学习率为 0.0001

工件

评估函数会生成一个工件：在此，我们根据地图值评估模型的性能

• result.txt – 此报告包含以下摘要信息：通过分摊每个类的地图（平均精度）值和总地图值来评估模型的性能

示例工作流

您可以使用此示例工作流来试用该模型。确保首先在自己的租户上部署模型，然后将此工作流与任何图像一起使用，以将图像发送到工作流，并自动识别该图像中的物体。

依赖项

• UiPath.MLServices.Activities v1.1.3
• UiPath.Web.Activities v1.4.5

Paper

Joseph Redmon 和 Ali Farhadi 发表的《YOLOv3: An Incremental Improvement》（YOLOv3：渐进式改进）