计算机视觉活动

本节包含“UiPath.UIAutomation.Activities ”包中与计算机视觉相关的活动。

• CV 检查
• 计算机视觉单击
• CV 下拉菜单选择
• 计算机视觉元素存在
• 计算机视觉提取表
• 计算机视觉获取文本
• 计算机视觉高亮显示
• 计算机视觉悬停
• 计算机视觉刷新
• 计算机视觉屏幕作用域
• 计算机视觉键入

备注：

The Computer Vision activities are not compatible with Windows 7.

计算机视觉活动包含重构的基本用户界面自动化活动，例如“单击” 、 “输入”或“获取文本” 。计算机视觉活动与其传统活动之间的主要区别在于它们使用由我们的“机器学习”部门内部开发的“计算机视觉”神经网络。神经网络能够在不使用选取器的情况下识别用户界面元素，例如按钮、文本输入字段或复选框。

这些活动主要是为虚拟桌面环境（例如 Citrix 计算机）中的自动化而创建，绕过了不存在或不可靠的选取器的问题，因为它们会将要自动化的窗口的图像发送到神经网络，该窗口在神经网络中经受分析，并且所有用户界面元素在其中根据实际情况进行识别和标记。智能锚点用于精确定位您正在与之交互的用户界面元素的确切位置，确保您打算执行的操作成功。

使用“计算机视觉”活动

所有“计算机视觉” 活动仅在“计算机视觉屏幕作用域” 活动中起作用，该活动建立与神经网络服务器的实际连接，从而使您能够分析要自动化的应用程序的用户界面。

使用“Computer Vision”活动的任何工作流都必须首先将“CV 屏幕作用域”活动拖动到设计器面板。

完成此操作后，可以使用作用域活动主体中的“在屏幕上指明”按钮选择要使用的屏幕区域。

备注：

双击信息截图后，系统会显示已捕获的图像，并会以紫色高亮显示神经网络和 OCR 引擎识别出的所有用户界面元素。

备注：

区域选择也可用于仅指定要自动化的部分应用程序用户界面。对于多个文本字段具有相同标签且无法正确识别的情况，该功能尤为有用。

Once a CV Screen Scope activity is properly configured, you can start using all of the other activities in the pack to build your automation.

指明在屏幕上

在设计时，可以使用活动卡中的“在屏幕上指定”按钮配置对用户界面元素执行操作的活动。具有此功能的活动包括：

• CV 检查
• 计算机视觉单击
• CV 下拉菜单选择
• 计算机视觉元素存在
• 计算机视觉提取表
• 计算机视觉获取文本
• 计算机视觉高亮显示
• 计算机视觉悬停
• 计算机视觉屏幕作用域
• 计算机视觉键入

单击在屏幕上指定（热键： I ）按钮可打开帮助程序向导。

指定

The Indicate field specifies what you are indicating at the moment. When the helper is opened for the first time, the Target needs to be indicated. For each possible target, the wizard automatically selects an anchor, if one is available.

显示元素

The Show Elements (hotkey: s) button in the wizard highlights all UI elements that have been identified by the Computer Vision analysis, making it easier for you to choose what to interact with.

屏幕刷新

如果目标应用程序中的情况发生变化，可以在设计时使用屏幕刷新（热键： F5 ）按钮，这样您就可以将新图片发送到 Computer Vision 服务器，以便再次进行分析。

延迟屏幕刷新

延迟屏幕刷新（热键： F2 ）按钮在等待 3 秒后执行目标应用程序的刷新。还会捕获运行时自动滚动方向（滚动方向属性）。

相对于

具有“指明”向导的活动还包括“相对于”功能，其中目标是一个稳定的元素，并且您可以相对于它拖动一个距离。主目标（稳定目标）充当第二个目标（相对目标）的代理目标。

当您想要选择与 Computer Vision 引擎已识别的用户界面元素不对应的区域时，或者当您想要在用户界面中选择常规区域而不指定特定用户界面元素时，这非常有用。

相对目标可以是要自动化的应用程序中的单点或区域选择。

单点选择通常放置在 Computer Vision 检测不准确并且可能找不到某些元素的位置。使用单点选择的活动包括“CV 单击” 、 “CV 悬停”和“CV 键入” 。

区域选择由“CV 获取文本”使用，并为此活动自动激活。

备注：

用作“相对 To”目标的点或区域都可以随您为屏幕选择的分辨率比例缩放。如果应用程序本身的规模是可变的，则此功能将失去可靠性。

一般来说，您添加的任何锚点都必须在运行时找到，这意味着如果至少一个锚点找不到，则无法找到整个选择。因此，锚点必须是稳定的元素，即 Computer Vision 每次都能检测到的元素，并且在运行时不会在用户界面中发生大幅变化。

假设您要单击下图中的“X”按钮。您可以注意到，目标位于“X”按钮上，但单击发生在绿色圆圈内；这是因为您选择了相对于“X”按钮进行单击。因此，除非 Computer Vision 无法检测到某个用户界面元素，否则无需使用“相对于”功能。

要选择“X”按钮而不是与其相关的区域，请确保“X”按钮上有绿色边框。

如果“X”按钮不稳定，您可以相对于稳定的元素单击。

表格指示

计算机视觉活动还提供对指示表的支持。 可以通过选择要与之交互的单元格来完成表格中的定位，这会提示神经网络自动识别定义该单元格位置的列和行，并在网格中显示它们。

默认情况下，描述符中使用列名和行名来查明单元格的位置。 单击列索引和行索引会自动将其添加到描述符中。 这在列名称和行名称已更改但您希望提取单元格的相同位置的情况下可能很有用。

After successfully indicating the Target, the wizard closes and the activity is configured with the target you selected.

备注：

请记住，每当您选择提交神经网络的行为错误时，您都是在帮助它学习，同时也在间接协助我们为您提供更优质的产品。请尽量提交更多问题，以便我们有机会了解并修复问题。