- 概述
- 用户界面自动化
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- ST-DBP-021 - 硬编码超时
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- SY-USG-013 - 私有文件调用
- SY-USG-014 - 执行模板占位符不正确
- 通过用户界面自动化实现自动化的应用程序和技术
- UiPath 浏览器迁移工具
- 计算机视觉录制器
- 单击
- 悬停
- 输入安全文本
- 发送热键
- 键入
- 选中
- 选择项目
- 选择多个项目
- 获取文本
- 设置文本
- 激活
- 高亮显示
- 设置焦点
- 锚点基准
- 上下文感知锚点
- 查找相对元素
- 在屏幕上指定
- 存在元素
- 查找元素
- 等待元素消失
- 查找子元素
- 获取上级
- 元素作用域
- 获取属性
- 设置剪切区域
- 获取位置
- 截取屏幕截图
- 等待属性
- 在元素出现时
- 在元素消失时
- 单击文本
- 悬停文本
- 查找文本位置
- 获取全文
- 获取可见文本
- 提取结构化数据
- 存在文本
- 单击 OCR 文本
- 悬停在 OCR 文本上方
- 获取 OCR 文本
- 查找 OCR 文本位置
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure 计算机视觉 OCR
- Tesseract OCR
- Google Cloud Vision OCR
- 存在 OCR 文本
- 单击图像
- 悬停在图像上方
- 查找图像匹配项
- 存在图像
- 查找图像
- 等待图像消失
- 在图像出现时
- 在图像消失时
- 加载图像
- 保存图像
- 附加浏览器
- 关闭选项卡
- 返回
- 前往
- 转至主页
- 注入 JS 脚本
- 导航至
- 打开浏览器
- 刷新浏览器
- 设置网页属性
- 附加窗口
- 关闭窗口
- 获取活动窗口
- 隐藏窗口
- 最大化窗口
- 最小化窗口
- 移动窗口
- 还原窗口
- 显示窗口
- 导出用户界面树
- 调用 ActiveX 方法
- 注入 .NET 代码
- 单击触发器
- 按键触发器
- 单击图像触发器
- 系统触发器
- 热键触发器
- 鼠标触发器
- 获取事件信息
- 监控事件
- 获取源元素
- 重播用户事件
- 阻止用户输入
- 使用前台
- 元素属性更改触发器
- 元素状态更改触发器
- 标注
- 复制选定文本
- 从剪贴板获取
- 设置为剪贴板
- 关闭应用程序
- 打开应用程序
- 启动进程
- 获取密码
- 工具提示
- 单击屏幕上的图片
- 单击工具栏按钮
- 读取状态栏
- 在日历中选择日期
- 选择菜单项
- 展开树
- 调用事务
- SAP 登录
- SAP 登录
- 表格单元范围
- SAP 会话属性更改触发器
- 展开 ALV 树
- 展开 ALV 层次结构表格
- Computer Vision Local Server
- 移动自动化
- 终端
用户界面自动化新式活动
新式用户界面自动化使用多种技术来识别和定位用户界面元素:完整选取器、模糊选取器和图像,所有这些技术都包含在基于锚点的算法中。
新式用户界面自动化包含可帮助您自动化最常见用户界面交互的活动。自动化用户界面交互的第一步是通过添加使用应用程序/浏览器活动来定义要与之交互的桌面应用程序或网页。然后,您可以在“使用应用程序/浏览器”活动中的该应用程序或网页中添加活动以使其自动化。
为了加快该过程,您可以使用 App/Web Recorder,该 App/Web Recorder 通过捕获屏幕上的动作来自动生成活动。
UI Automation Next 包支持以下 Web 浏览器:
- Internet Explorer 8.0 或更高版本
- Google Chrome 64 版或更高版本
- Mozilla Firefox 版本 52.0 或更高版本
- Windows 10 版本 1803 或更高版本上的 Microsoft Edge Chromium 版本 79 或更高版本。 不支持 Edge 旧版。
用户界面自动化 Next 使用以下方法的组合来识别用户界面元素:
- “选取器 ” - 一个 XML 片段,用于存储元素及其父元素(包括目标应用程序)的属性。
-
模糊选取器 - 一种选取器,该选取器会考虑元素属性可能发生的变化,并根据模式而不是完全匹配来识别它们。 此方法与锚点一起使用时效果最佳。
您可以参阅 Studio 指南,详细了解选取器的相关信息。
- “图像 ” - 应用程序窗口中用于标识元素的图像,例如图标或按钮。
目标是您要与之交互的用户界面元素,例如一个要点击的按钮、一个要键入内容的文本框或要从中复制文本的网页的一部分。
锚点是附近的另一个元素,可帮助以唯一方式识别目标。当您指定一个目标时,UiPath 会尝试识别并自动选择一个锚点。您也可以手动添加最多三个锚点。
何时使用锚点
当目标元素并非唯一时,锚点很有用。例如,桌面应用程序中的表单通常包含多个相似的文本框,可在其中输入各种数据。通过查看数据旁边的标签,您可以确定需要输入哪些数据。同样,将文本框的标签添加为其锚点时,Robot 会使用锚点来标识要键入内容的文本框。
在某些情况下,需要多个锚点才能将目标与称为重复项的其他类似元素区分开。例如,如果表单包含帐单地址和收货地址部分,则其中的文本框会出现两次,并带有相同的标签,因此您需要同时添加标签(例如“邮政编码”)和该部分的标题(例如“帐单地址”)作为锚点,以识别正确的目标。
在大多数情况下,定义目标所需要做的只是在屏幕上指向该目标并单击。应用程序会检测识别目标和任何合适锚点所需的方法,并自动生成其属性。
要指定目标:
-
在“用户界面自动化下一步”活动中单击在屏幕上指定目标。
目标选择模式已打开。当您开始移动鼠标时,所有可识别的用户界面元素都会突出显示。屏幕上将显示“选择选项”窗口,其中包含有关目标标识状态和其他选项的信息。
-
将鼠标指针放在所需的元素上,确保将其突出显示,然后单击。
-
如果标识了目标元素,其将突出显示为绿色。
- 如果还自动选择了锚点,则该锚点将以蓝色突出显示。
- 如果未自动选择锚点,则可以单击附近有助于识别目标的元素(例如标签或标题),将其添加为锚点。
- 要添加其他锚点,请将鼠标悬停在目标元素上,在悬停菜单中选择添加锚点,然后单击要添加为锚点的元素。
-
如果由于屏幕上存在其他过多的相似元素而无法识别目标,则该元素将以红色突出显示,而相似元素将以黄色突出显示为重复项。单击屏幕上的另一个元素,将其添加为锚点。
- 如果选择有效,则目标和锚点分别以绿色和蓝色突出显示。
- 如果目标和锚点以红色突出显示,则选择仍然无效。 将鼠标悬停在您指定为目标的元素上,然后单击“添加锚点”以添加第二个锚点。 如有必要,重复此操作以添加第三个锚点。
-
要完成目标标识,请在“选择选项”窗口中单击“确认”。您还可以通过点击目标悬停菜单中的 ,或按键盘上的回车键来确认。
目标已配置完成,并且活动会显示目标和已添加的所有锚点的屏幕快照。
-
“选择选项”窗口中提供了其他选项,可帮助您指定元素:
-
如果某个元素在屏幕上不可见或该应用程序未处于正确状态,则可以按键盘上的 F2 键以暂停元素选择,同时将应用程序设置为正确状态。
这对于需要其他操作才能显示在屏幕上或从屏幕上轻易消失的元素很有用。例如,如果要在下拉菜单或悬停菜单中指定特定元素,则可以在单击下拉菜单时暂停选择,或者在悬停菜单上移动鼠标指针以激活它们。
- 切换到“图像选择模式”。在键盘上按 F3 键可以更改为“仅基于图像的标识”,然后使用鼠标从应用程序窗口中选择一个可见区域,以用作目标或锚点。
-
更改用户界面框架。默认情况下,专有框架用于访问目标应用程序窗口。如果未检测到目标,请尝试通过按键盘上的 F4 来更改框架。对于较旧的应用程序,请选择 AA(主动式辅助)。对于较新的应用程序,请选择 UIA(Microsoft 用户界面自动化)。选择目标后,更改用户界面框架的选项不再可用。
如果在项目执行期间未正确识别目标,则可以在指定目标后,通过在活动正文中选择 > “编辑目标”来编辑目标及其锚点。这将打开选择模式,并突出显示目标及任何已识别的锚点。将鼠标悬停在目标或锚点上时,屏幕上将显示一个菜单。
- 要删除目标或锚点,请悬停在其上方,然后在悬停菜单中单击删除。如果您删除目标,则单击的第一个元素将被添加为新目标。
- 要为目标添加锚点,请单击要添加为锚点的元素。根据项目的设置,您可能需要先在目标的悬停菜单中单击添加锚点。每个目标最多可以添加三个锚点。
-
要编辑目标或锚点,请悬停在其上方,然后在悬停菜单中单击设置。您可以在“选择选项”窗口的“高级设置”部分编辑检测元素时所用方法的属性:
-
选取器/模糊选取器
-
使用相应的文本框编辑选取器。要复制选取器以粘贴到另一个元素中或在 UI Explorer 中编辑,请单击旁边的复制。
您也可以在属性值中使用变量。 变量必须用双大括号括起来,例如<wnd name='da{{var1}}'/>
会将var1
的值添加到选取器。 在设计时使用变量的默认值。 - 对于模糊选取器,可以将相应的滑块从 0.4 拖动到 1,以更改“选取器精度”的级别。此度量表示要搜索的属性与要查找的属性之间的相似度。要查找具有更高相似性的结果,请增加该值。默认值为 0.7。
-
-
图像
- 通过将相应的滑块从 0.4 拖动到 1 来更改“图像精度”的级别。此度量表示要搜索的图像与要找到的图像之间的相似度。如果要查找的图像可能与要搜索的图像略有不同,您可以降低精度。默认值为 0.8。
- 通过清除/选中方法名称旁边的复选框来禁用/启用方法。
- 通过单击旁边的显示所有匹配项 来验证方法的独特性。这将检查窗口中的所有元素,并以黄色突出显示与当前所选元素相似的所有元素。
-
如果您要验证选择,请单击“应用”以保存更改,然后单击“验证”。要保存选择,请单击“确认”。
-
验证您的选择
通过验证,您可以使用所有选定的方法和锚点检查目标,从而检查当前选择在识别目标方面的效果如何。验证结果将显示在“选择选项”窗口的顶部。如果需要调整,屏幕上会显示一条消息,其中包含有关如何改进选择的信息。
每种方法的性能显示在“选择选项”窗口的“高级设置”部分,使用以下图标之一:
该方法是第一个成功识别元素的方法。
此方法已成功识别元素。
该方法无法识别元素,因为发现了太多重复项。
此方法未能识别元素。