活动
最新
False
横幅背景图像
用户界面自动化活动
上次更新日期 2024年4月3日

用户界面自动化新式活动

新式用户界面自动化使用多种技术来识别和定位用户界面元素:完整选取器、模糊选取器和图像,所有这些技术都包含在基于锚点的算法中。

重要提示:从 v2020.10 开始,我们已弃用“用户界面自动化下一步”包,并且已扩展现有的“用户界面自动化”包,以包含“用户界面自动化下一步”中以前可用的所有新式功能。 您甚至可以在 Studio 2020.4.1 版及更低版本上安装统一的用户界面自动化活动包。 这将在活动窗格中显示所有传统活动和新式活动。 阅读有关新式设计体验的更多信息。

新式用户界面自动化包含可帮助您自动化最常见用户界面交互的活动。自动化用户界面交互的第一步是通过添加使用应用程序/浏览器活动来定义要与之交互的桌面应用程序或网页。然后,您可以在“使用应用程序/浏览器”活动中的该应用程序或网页中添加活动以使其自动化。

为了加快该过程,您可以使用 App/Web Recorder,该 App/Web Recorder 通过捕获屏幕上的动作来自动生成活动。

注意: “提取表格数据”活动和“应用程序/网页录制器”与 Studio 2019.10.4 及更早版本不兼容。

网页浏览器支持

UI Automation Next 包支持以下 Web 浏览器:

  • Internet Explorer 8.0 或更高版本
  • Google Chrome 64 版或更高版本
  • Mozilla Firefox 版本 52.0 或更高版本
  • Windows 10 版本 1803 或更高版本上的 Microsoft Edge Chromium 版本 79 或更高版本。 不支持 Edge 旧版。

目标方法

用户界面自动化 Next 使用以下方法的组合来识别用户界面元素:

  • 选取器 ” - 一个 XML 片段,用于存储元素及其父元素(包括目标应用程序)的属性。
  • 模糊选取器 - 一种选取器,该选取器会考虑元素属性可能发生的变化,并根据模式而不是完全匹配来识别它们。 此方法与锚点一起使用时效果最佳。

    您可以参阅 Studio 指南,详细了解选取器的相关信息。

  • 图像 ” - 应用程序窗口中用于标识元素的图像,例如图标或按钮。

关于目标和锚点

目标是您要与之交互的用户界面元素,例如一个要点击的按钮、一个要键入内容的文本框或要从中复制文本的网页的一部分。

锚点是附近的另一个元素,可帮助以唯一方式识别目标。当您指定一个目标时,UiPath 会尝试识别并自动选择一个锚点。您也可以手动添加最多三个锚点。

何时使用锚点

当目标元素并非唯一时,锚点很有用。例如,桌面应用程序中的表单通常包含多个相似的文本框,可在其中输入各种数据。通过查看数据旁边的标签,您可以确定需要输入哪些数据。同样,将文本框的标签添加为其锚点时,Robot 会使用锚点来标识要键入内容的文本框。

在某些情况下,需要多个锚点才能将目标与称为重复项的其他类似元素区分开。例如,如果表单包含帐单地址和收货地址部分,则其中的文本框会出现两次,并带有相同的标签,因此您需要同时添加标签(例如“邮政编码”)和该部分的标题(例如“帐单地址”)作为锚点,以识别正确的目标。

指定目标

在大多数情况下,定义目标所需要做的只是在屏幕上指向该目标并单击。应用程序会检测识别目标和任何合适锚点所需的方法,并自动生成其属性。

要指定目标:

  1. 在“用户界面自动化下一步”活动中单击在屏幕上指定目标

    目标选择模式已打开。当您开始移动鼠标时,所有可识别的用户界面元素都会突出显示。屏幕上将显示“选择选项”窗口,其中包含有关目标标识状态和其他选项的信息。

  2. 将鼠标指针放在所需的元素上,确保将其突出显示,然后单击。

    • 如果标识了目标元素,其将突出显示为绿色。

      • 如果还自动选择了锚点,则该锚点将以蓝色突出显示。
      • 如果未自动选择锚点,则可以单击附近有助于识别目标的元素(例如标签或标题),将其添加为锚点。
      • 要添加其他锚点,请将鼠标悬停在目标元素上,在悬停菜单中选择添加锚点docs image,然后单击要添加为锚点的元素。
    • 如果由于屏幕上存在其他过多的相似元素而无法识别目标,则该元素将以红色突出显示,而相似元素将以黄色突出显示为重复项。单击屏幕上的另一个元素,将其添加为锚点。

      • 如果选择有效,则目标和锚点分别以绿色和蓝色突出显示。
      • 如果目标和锚点以红色突出显示,则选择仍然无效。 将鼠标悬停在您指定为目标的元素上,然后单击“添加锚点docs image以添加第二个锚点。 如有必要,重复此操作以添加第三个锚点。
    • 要完成目标标识,请在“选择选项”窗口中单击“确认”。您还可以通过点击目标悬停菜单中的 ,或按键盘上的回车键来确认。

      目标已配置完成,并且活动会显示目标和已添加的所有锚点的屏幕快照。



“选择选项”窗口中提供了其他选项,可帮助您指定元素:

  • 如果某个元素在屏幕上不可见或该应用程序未处于正确状态,则可以按键盘上的 F2 键以暂停元素选择,同时将应用程序设置为正确状态。

    这对于需要其他操作才能显示在屏幕上或从屏幕上轻易消失的元素很有用。例如,如果要在下拉菜单或悬停菜单中指定特定元素,则可以在单击下拉菜单时暂停选择,或者在悬停菜单上移动鼠标指针以激活它们。

  • 切换到“图像选择模式”。在键盘上按 F3 键可以更改为“仅基于图像的标识”,然后使用鼠标从应用程序窗口中选择一个可见区域,以用作目标或锚点。
  • 更改用户界面框架。默认情况下,专有框架用于访问目标应用程序窗口。如果未检测到目标,请尝试通过按键盘上的 F4 来更改框架。对于较旧的应用程序,请选择 AA(主动式辅助)。对于较新的应用程序,请选择 UIA(Microsoft 用户界面自动化)。选择目标后,更改用户界面框架的选项不再可用。



编辑目标

如果在项目执行期间未正确识别目标,则可以在指定目标后,通过在活动正文中选择 > “编辑目标”来编辑目标及其锚点。这将打开选择模式,并突出显示目标及任何已识别的锚点。将鼠标悬停在目标或锚点上时,屏幕上将显示一个菜单。



  • 要删除目标或锚点,请悬停在其上方,然后在悬停菜单中单击删除docs image。如果您删除目标,则单击的第一个元素将被添加为新目标。
  • 要为目标添加锚点,请单击要添加为锚点的元素。根据项目的设置,您可能需要先在目标的悬停菜单中单击添加锚点docs image。每个目标最多可以添加三个锚点。
  • 要编辑目标或锚点,请悬停在其上方,然后在悬停菜单中单击设置。您可以在“选择选项”窗口的“高级设置”部分编辑检测元素时所用方法的属性:

    • 选取器/模糊选取器

      • 使用相应的文本框编辑选取器。要复制选取器以粘贴到另一个元素中或在 UI Explorer 中编辑,请单击旁边的复制

        您也可以在属性值中使用变量。 变量必须用双大括号括起来,例如 <wnd name='da{{var1}}'/> 会将 var1 的值添加到选取器。 在设计时使用变量的默认值。
      • 对于模糊选取器,可以将相应的滑块从 0.4 拖动到 1,以更改“选取器精度”的级别。此度量表示要搜索的属性与要查找的属性之间的相似度。要查找具有更高相似性的结果,请增加该值。默认值为 0.7。
    • 图像

      • 通过将相应的滑块从 0.4 拖动到 1 来更改“图像精度”的级别。此度量表示要搜索的图像与要找到的图像之间的相似度。如果要查找的图像可能与要搜索的图像略有不同,您可以降低精度。默认值为 0.8。
    • 通过清除/选中方法名称旁边的复选框来禁用/启用方法。
    • 通过单击旁边的显示所有匹配项docs image 来验证方法的独特性。这将检查窗口中的所有元素,并以黄色突出显示与当前所选元素相似的所有元素。
    • 如果您要验证选择,请单击“应用”以保存更改,然后单击“验证”。要保存选择,请单击“确认”



验证您的选择

通过验证,您可以使用所有选定的方法和锚点检查目标,从而检查当前选择在识别目标方面的效果如何。验证结果将显示在“选择选项”窗口的顶部。如果需要调整,屏幕上会显示一条消息,其中包含有关如何改进选择的信息。

每种方法的性能显示在“选择选项”窗口的“高级设置”部分,使用以下图标之一:



该方法是第一个成功识别元素的方法。

此方法已成功识别元素。

该方法无法识别元素,因为发现了太多重复项。

此方法未能识别元素。

此页面是否有帮助?

获取您需要的帮助
了解 RPA - 自动化课程
UiPath Community 论坛
Uipath 白色徽标
信任与安全
© 2005-2024 UiPath. All rights reserved.