活动
最新
False
横幅背景图像
用户界面自动化活动
上次更新日期 2024年2月26日

高级描述符配置

有关使用“选择屏幕”的更高级功能的更多信息,请观看下面的视频。

复制

指定目标可能会产生重复项,这些重复项是被认为与目标用户界面元素非常相似的其他用户界面元素,可能会导致自动化在 Runtime失败。 找到重复项时,它们会以黄色突出显示,并在其上方有一个标签,其中包含一个字母,该字母与找到每个重复项的定位方法相对应:

  • S - 精确选取器
  • F - 模糊选取器
  • I - 图像
  • 计算机视觉 - Computer Vision


避免重复的最佳方法之一是指定锚点。

锚点

要创建可靠的描述符,建议在指示目标后指示锚点。 您最多可以为一个目标指定三个锚点。 锚点存在于多种场景中,如下所述:

未自动找到锚点

指定目标后,系统会尝试为其自动识别锚点。

重要提示: 如果无法 100% 确定找到锚点,或者发现重复项,则不会将其视为自动锚点。
如果成功找到自动锚点,则该自动锚点将以蓝色突出显示,并且“选择选项”助手会确认目标及其锚点均正常。


锚点识别方法

在本节中,您可以找到有关执行此搜索的方法的更多技术详细信息。

指定目标后,即可识别指定用户界面元素的类型。 系统将搜索以下元素和方向:

  • 按钮 - 元素内部。
  • 复选框 - 位于元素右侧。
  • 下拉列表 - 位于元素左侧和上方。
  • 输入框 - 位于元素的左侧和上方。 对于浏览器自动化,系统还会在输入框中搜索标签,以查找 AreaLabeledBy 属性。 如果未标识此标签,则搜索具有 tag=labelfor='id of the input box' 的元素。
  • 单选按钮 - 位于元素右侧。
  • “图像” - 位于元素右侧和下方。

根据识别的元素类型,系统将自动搜索元素的相应锚点。

自动识别的锚点采用文本元素的形式,始终显示在目标元素附近,因此可用于在 Runtime 更精确地识别元素。

如果上述说明均未提供结果,则使用通用案例,即在元素层次结构中搜索合适的锚点。

手动添加锚点
如果系统未自动找到锚点并将其添加到指定目标,“选择选项”帮助程序会通知您,如以下屏幕截图所示:


在这种情况下,您可以手动为目标元素选择锚点。 将鼠标悬停在另一个元素上时,该元素会以蓝色高亮显示,并用线条连接到所选目标。 要选择所需的锚点,只需单击要用作锚点的文本。



悬停菜单

您还可以通过访问将鼠标悬停在目标元素上时显示的菜单来编辑特定元素(无论是目标元素还是锚点)。 此菜单有多个选项:



按钮关闭指示流程并保存所做的更改。

按钮可用于定位元素,而不论其特定文本内容如何。 当您在不确切知道将要填充列表的内容时尝试选择搜索列表中的第一个元素时,或者与由于各种原因更改其标签的动态元素进行交互时,这可能会有所帮助。 在指定目标时使用此功能,仅使用模糊选取器方法进行识别,并去除模糊选取器,以确保无论标签如何更改,元素仍具有针对性。

通过单击按钮,则可以选择充当附加锚点的相邻用户界面元素。 您最多可以为任何目标指定三个锚点。

按钮展开“选择选项”中的目标部分,从而配置用于当前描述符的目标方法。

按钮可删除您指定的目标,并允许您选择另一个目标。

配置描述符

选项

展开“选项” 部分可以显示以下选项:

  • “自动应用更改 ” - 选中后,系统会将更改自动应用于目标元素和锚点元素。
  • 响应式网站 - 选中后,锚点可以自动从目标的左侧移动到顶部,或从目标的顶部移动到左侧,从而使响应式网站自动化。
  • 元素可见性 ” - 检查用户界面元素是否可见。 下拉菜单中提供三个选项:
    • ”- 不检查可见性。
    • 交互式(用于模糊选取器) - 默认选项。 检查元素是否可能可见,忽略页面滚动和其他应用程序的阻碍或应用程序已最小化。 当尝试确保您没有以 DOM 中存在但隐藏的不可见元素为目标时,此检查非常有用。
    • 完全可见 - 确保用户界面元素在屏幕上可见。

窗口选取器

可以展开窗口选取器部分,以查看和编辑指定目标应用程序的选取器。 您还可以使用“在用户界面探测器中打开” 按钮在用户界面探测器中编辑窗口选取器



目标

查找用户界面元素的后台流程会使用以下几种定位方法:

  • 精确选取器
  • 模糊选取器
  • 图像
  • Computer Vision
这些定位方法彼此重复,并且根据使用的定位方法制定了排名。该层次结构考虑了每种定位方法的定位能力和对用户界面更改的弹性。因此,查找用户界面元素的顺序如下:
  1. 主要定位方式由“选取器”表示:“精确选取器”或“模糊选取器”。
  2. 次要定位方法是“Computer Vision”。
  3. 第三定位方法是“图像”(默认禁用)。

在设计时,该图标 会显示在主要的定位方法旁边,以在运行时模拟场景。

此外,值得一提的是,“等待主要定位方法,直至超时”项目设置(“项目设置”>“新式用户界面自动化”),该设置在自活动包版本 23.10.3 开始的新项目中默认启用,并且可以为创建的项目手动启用在可以使用任何回退定位方法之前,为主定位方法提供一些额外的时间来消耗其完全超时。

如果在超时过期之前,其中一种主要定位方法能够找到用户界面元素,则系统会将该方法用作与用户界面元素交互的方法。精确选取器是首选的搜索用户界面元素的定位方法,之后则是模糊选取器。同时,精确选取器的优先级高于模糊选取器。



当主要定位方法在超时过期之前找不到用户界面元素时,如果在分配的超时内进行所有重试后,“精确选取器”和“模糊选取器”都无法找到用户界面元素,则辅助和第三种定位方法才会开始搜索用户界面元素。



等待主要定位方法,直至超时”项目设置还可以使选取器相关问题具有更高的可预测性和可见性,以便您可以更好地控制用户界面元素定位,同时还具有 Computer Vision 提供的可靠回退功能。

如果禁用此项目设置,则所有定位方法都会在单次超时内根据层次结构竞争查找用户界面元素:仅当排位较高的定位方法无法找到目标时,才会使用排位较低的定位方法来寻找目标。

在此上下文中,另一个重要的项目设置是在“未找到元素”错误消息中显示最接近的匹配项(“项目设置”>“新式用户界面自动化”),该设置在从活动包版本 23.10.3 开始的新项目中也默认启用,并且可以为在此活动包版本之前创建的项目手动启用。启用此设置后,如果选取器失败,则会在日志中显示一条警告,其中显示用于查找用户界面元素的方法,并建议十个可用于替换故障选取器的最接近选取器匹配项。



不建议手动编辑描述符,因为整个过程对用户来说是无缝的,并且无需高级配置即可提供良好的结果。不过,如果要为描述符配置更高级的功能,您可以启用、禁用和编辑定位方式。

精确选取器

选取器是 XML 片段,其中包含用户界面元素及其父元素的属性。 选取器用于定位屏幕上的用户界面元素,方法是检查用户界面元素及其属性,并将其与选取器中的属性进行匹配。 您可以查看此页面,详细了解 UiPath 生态系统中的选取器。

可以从“选择选项” 窗口中的专用部分编辑目标元素的精确选取器。 您还可以使用“在用户界面探测器中打开” 按钮在用户界面探测器中编辑选取器



“精确选取器” 字段支持从上下文菜单(可通过右键单击访问)使用和创建变量及参数。



您还可以选择选取器的一部分,并使用上下文菜单将其直接转换为已预先填充所选内容的变量。



您还可以从“ 变量名称 ” 下拉菜单中选择已创建的变量,并在选取器中使用该变量。



使用“ 覆盖默认值 ” 复选框,您可以将预定义变量中的值替换为当前选择。



确认 ”按钮将保存您在选取器中所做的更改。

以下热键可用:

  • Ctrl+Space:选择变量
  • Ctrl+Shift+Space:选择参数
  • Ctrl+K:创建变量
  • Ctrl+M:创建参数
重要提示:

如果“变量”和“参数”的名称相同,则变量始终默认为 ,并在运行时使用。

名称与变量相同的参数在“选择屏幕”的变量选择菜单中隐藏。

使用变量和参数完成的更改可以传播到找到它们的所有其他实例。 例如,如果某个变量同时用于“ 精确选取器”字段和“ 模糊选取器”字段,则在其中一个字段中更改该变量会生成一条消息,通知您在另一个字段中找到了相同的值,并为您提供将所有实例替换为新值。



精确选取器还支持通配符,可用于替换字符串中的零个或多个字符。 您可以在此处找到有关此功能的更多信息。

模糊选取器

模糊选取器与精确选取器非常相似,区别在于其属性是模糊匹配的,而不是完全匹配的。 这意味着模糊选取器可以输出多个元素,而精确选取器一次输出一个元素。

可以在“ 选择选项”窗口的专用部分中编辑模糊选取器。

模糊选取器的匹配精度基于 Levenshtein 距离算法,用于计算选取器的相似度。默认值为 0.5,可以从“准确度”滑块进行配置,也可以通过输入有效值直接从输入字段进行配置。匹配准确度可在 0.4 到 1 的范围内进行设置,其中值越低表示模糊程度越高,这意味着模糊选取器输出更多的元素,而较高的值表示模糊程度较低,这意味着模糊选取器输出更少的元素。



与“严格”选取器一样,“模糊选取器”字段支持使用和创建变量及参数,还支持通配符。 有关更多详细信息,请参阅上面提供的信息。

如果指定元素包含文本,则文本将显示在模糊选取器编辑窗口下方的输入框中。 如果在此输入框中显示文本,则在 Runtime 必须在元素本身中找到文本才能视为匹配项。

输入框旁边的下拉菜单包含以下选项:

  • 文本是/InnerText 是/全文 (取决于所使用的文本抓取方法)- 显示抓取的文本;系统会自动识别最佳抓取方法,建议使用它
  • 忽略文本 - 忽略输入框中指定的文本
Computer Vision
Computer Vision 是一个 AI 驱动的引擎,它使 UiPath 机器人能够查看和理解计算机屏幕上的每个用户界面元素。Computer Vision 增强了定位能力:当驱动程序无法“看到”某些用户界面元素时,Computer Vision 可以启用用户界面自动化。因此,它提高了基于用户界面的自动化的可靠性和弹性,是适用于其他定位方法的强大回退。

图像

如果对目标使用图像自动化,您还可以查看元素的屏幕截图,以及调整图像准确性。 默认值为 0.8,可以从“准确度”滑块进行配置,也可以直接从输入字段中输入有效值进行配置。 精度可在 0.4 到 1 的范围内设置。 有关更多信息,请查看图像和文本自动化部分。

如果要定义“仅图像”目标,可以使用“图像区域选择”(F3) 或在指定时为要用作目标/锚点的区域绘制方框选择。



您也可以使用刷新按钮手动刷新已选择的图像,以防元素图像在指定后发生变化。

“项目设置”中的“图像定位”方法默认处于禁用状态。

要在项目级别启用它,请转到“项目设置”>“新式用户界面自动化”>“目标方法 - 桌面应用程序”/“目标方法 - 网页浏览器”/“目标方法 - Java”/“目标方法 - SAP”(具体取决于要自动化的应用程序类型)>“图像”> 选择“True”

要对指定元素启用该方法,该元素必须有效。

原生文本

如果在指定元素时选中了“ 启用原生文本 ”复选框,则使用“原生文本”定位方法。 此方法使您能够使用使用原生方法识别的所有文本标签来识别要与之交互的元素。

可以从其专用部分编辑通过此方法识别的文本标签,并且可以使用“ 切换区分大小写 ”按钮指定是否希望文本区分大小写。



离线编辑
当应用程序不再打开但您想要编辑其描述符时,从活动主体的上下文菜单中选择“ 编辑目标 (E) ”,系统会提示您“ 重试” 、“ 离线编辑” 或“ 取消”。

选择“ 离线编辑 ” 选项将以离线编辑模式打开选择屏幕。 在离线编辑模式下,您无法添加锚点、验证描述符或其他需要实时应用程序的功能。

验证描述符

验证流程可确保目标的所有搜索方法组合都能正常工作。 您可以使用“选择”屏幕中的“ 验证 ”按钮来验证您的选择。

如果您有目标和锚点对,则它们每个都将使用所有可用的定位方法。 为了找到最终目标,系统会将每个元素的所有可能组合与屏幕上的元素进行匹配,并在匹配后给出一个分数。

执行验证后,如果发现任何重复项,则它们会在目标应用程序中高亮显示。 如果未找到重复项,则定位方法旁边会显示图标,告知您每种定位方法在给定情况下的状态。 使用了以下符号:

- 最快的定位方法

- 该方法有效,但不是最快的

- 此方法与其他定位方法一起使用,发现重复项,并且已识别出正确的元素

- 该方法发现重复项,使用此方法无法识别正确的元素

- 该方法无法识别任何元素

  • 复制
  • 锚点
  • 悬停菜单
  • 配置描述符
  • 验证描述符

此页面是否有帮助?

获取您需要的帮助
了解 RPA - 自动化课程
UiPath Community 论坛
Uipath 白色徽标
信任与安全
© 2005-2024 UiPath. All rights reserved.