计算机视觉活动

本节包含 UiPath.UIAutomation.Activities 包中与计算机视觉相关的活动。

• CV 检查
• 计算机视觉单击
• CV 下拉菜单选择
• 计算机视觉元素存在
• 计算机视觉提取表
• 计算机视觉获取文本
• 计算机视觉高亮显示
• 计算机视觉悬停
• 计算机视觉刷新
• 计算机视觉屏幕作用域
• 计算机视觉键入

注意： 计算机视觉活动与 Windows 7 不兼容。

Computer Vision 活动包含重构的基本用户界面自动化活动，例如 单击、 输入或 获取文本。 “ Computer Vision 活动与其传统活动之间的主要区别在于它们使用由我们的机器学习部门内部开发的“ Computer Vision 神经网络。 神经网络能够在不使用选取器的情况下识别用户界面元素，例如按钮、文本输入字段或复选框。

这些活动主要是为虚拟桌面环境（例如 Citrix 计算机）中的自动化而创建，绕过了不存在或不可靠的选取器的问题，因为它们会将要自动化的窗口的图像发送到神经网络，该窗口在神经网络中经受分析，并且所有用户界面元素在其中根据实际情况进行识别和标记。智能锚点用于精确定位您正在与之交互的用户界面元素的确切位置，确保您打算执行的操作成功。

使用“计算机视觉”活动

所有计算机视觉活动仅在 CV 屏幕作用域 活动中起作用，该活动建立与神经网络服务器的实际连接，从而使您能够分析要自动化的应用程序的用户界面。

使用“计算机视觉”活动的任何工作流都必须首先将“ CV 屏幕作用域 ”活动拖动到设计器面板。

完成此操作后，可以使用作用域活动主体中的“ 在屏幕上指明” 按钮选择要使用的屏幕区域。

注意：双击信息截图后，系统会显示已捕获的图像，并会以紫色高亮显示神经网络和 OCR 引擎识别出的所有用户界面元素。

注意：区域选择还可用于仅指示要自动化的应用程序用户界面的一部分。这在多个文本字段具有相同标签且无法正确识别的情况下尤其有用。

正确配置 CV 屏幕范围 活动后，您可以开始使用包中的所有其他活动来构建自动化。

Indicate on screen

The activities that perform actions on UI elements can be configured at design time by using the Indicate on screen button found in the activity card. The activities that have this feature are:

• CV 检查
• 计算机视觉单击
• CV 下拉菜单选择
• 计算机视觉元素存在
• 计算机视觉提取表
• 计算机视觉获取文本
• 计算机视觉高亮显示
• 计算机视觉悬停
• 计算机视觉屏幕作用域
• 计算机视觉键入

Clicking the Indicate on screen (hotkey: I) button opens the helper wizard.

指定

“ 指示 ” 字段指定您当前要指示的内容。 首次打开帮助程序时，需要指定 目标 。 对于每个可能的目标，向导会自动选择一个锚点（如果有）。

显示元素

向导中的“ 显示元素 ”（热键： s）按钮高亮显示计算机视觉分析已识别的所有用户界面元素，使您可以更轻松地选择要与之交互的对象。

屏幕刷新

可以在设计时使用“ 屏幕刷新 ”（热键： F5）按钮，以防目标应用程序发生更改，从而将新图片发送到计算机视觉服务器以再次进行分析。

延迟屏幕刷新

“ 延迟屏幕刷新 ”（热键： F2）按钮会在等待 3 秒后刷新目标应用程序。 还会捕获运行时自动滚动方向（ScrollDirection 属性）。

相对于

具有“指明”向导的活动还包括“相对于”功能，其中目标是一个稳定的元素，并且您可以相对于它拖动一个距离。主目标（稳定目标）充当第二个目标（相对目标）的代理目标。

当您想要选择与 Computer Vision 引擎已识别的用户界面元素不对应的区域时，或者当您想要在用户界面中选择常规区域而不指定特定用户界面元素时，这非常有用。

相对目标可以是要自动化的应用程序中的单点或区域选择。

单点选择通常放置在 Computer Vision 检测不准确并且可能找不到某些元素的位置。使用单点选择的活动包括“CV 单击”、“CV 悬停”和“CV 键入”。

区域选择由“CV 获取文本”使用，并为此活动自动激活。

注意: 用作“ 相对于” 目标的点或区域都可以使用您为屏幕选择的分辨率比例进行缩放。 相反，如果应用程序本身的规模是可变的，则此功能将失去可靠性。

一般来说，您添加的任何锚点都必须在运行时找到，这意味着如果至少一个锚点找不到，则无法找到整个选择。因此，锚点必须是稳定的元素，即 Computer Vision 每次都能检测到的元素，并且在运行时不会在用户界面中发生大幅变化。

假设您要单击下图中的“X”按钮。您可以注意到，目标位于“X”按钮上，但单击发生在绿色圆圈内；这是因为您选择了相对于“X”按钮进行单击。因此，除非 Computer Vision 无法检测到某个用户界面元素，否则无需使用“相对于”功能。

要选择“X”按钮而不是与其相关的区域，请确保“X”按钮上有绿色边框。

如果“X”按钮不稳定，您可以相对于稳定的元素单击。

Table indication

计算机视觉活动还提供对指示表的支持。 可以通过选择要与之交互的单元格来完成表格中的定位，这会提示神经网络自动识别定义该单元格位置的列和行，并在网格中显示它们。

默认情况下，描述符中使用列名和行名来查明单元格的位置。 单击列索引和行索引会自动将其添加到描述符中。 这在列名称和行名称已更改但您希望提取单元格的相同位置的情况下可能很有用。

成功 指定目标后，向导将关闭，并使用您选择的目标配置活动。

注意：请记住，每当您选择提交神经网络行为中的错误时，您都是在帮助它学习，并间接帮助我们为您提供更好的产品。提交尽可能多的问题，因为这使我们有机会确认并修复这些问题。