- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
用户界面自动化活动
v23.10
发行日期:2024 年 6 月 7 日
发行日期:2024 年 4 月 3 日
BasicTreeTable
和JxTreeTable
Java 控件的自定义支持。
DesignTime ScreenId
。
发行日期:2024 年 2 月 26 日
发布日期:2023 年 12 月 21 日
发行日期:2023 年 12 月 6 日
发行日期:2023 年 10 月 23 日
当浏览器意外关闭或在 Windows 关闭期间关闭时,系统会显示“还原页面”弹出窗口。如果在打开浏览器时未实施特定逻辑(例如,检查是否出现弹出窗口并使用“单击”活动将其关闭),则此行为可能会中断自动化。我们实施了一项更改,以防止在打开浏览器时出现“还原页面”弹出窗口。
现在支持自动化同时使用多个用户配置文件运行的多个浏览器实例。此功能允许用户使用在 Chrome、Edge 和 Firefox 的不同配置文件下打开的多个浏览器实例设计自动化。
UiPathRemoteRuntime.msi
安装 Firefox、RDP 和 VMware 扩展程序。
已在新式体验中隐藏以下活动:
- 存在 OCR 文本
- 单击 OCR 文本
- 双击 OCR 文本
- 悬停在 OCR 文本上方
- 查找 OCR 文本位置
要在“活动”面板中查看这些活动,请选择“传统”筛选器。
如果您需要识别在与应用程序中的某些用户界面元素交互时触发的原生事件的类型,我们引入了一个与用户界面探测器集成的新工具,即“事件检查工具”,可用于配置“应用程序事件触发器”活动。该工具可捕获并监控所有选定的事件类型,使您能够分析执行的操作,并在适用时诊断问题。
- HTML 事件:
- 已更改下载
- 已激活选项卡
- 已创建选项卡
- 已删除选项卡
- 已更新选项卡
- WEBCTRL 事件:
- 更改所选内容
- 基于用户界面的事件:
- 已出现
- 已消失
- 更改文本
- 获得焦点
- 焦点丢失
- 已调用
- Selected
- 已取消选择
- 已切换
我们还在原生嵌入式浏览器(例如 Slack、Discord 或 Electron 测试应用程序)中添加了对基于 WEBCTRL 的原生事件的支持。
“应用程序事件触发器”活动现在可以与编码工作流一起使用。因此,我们还引入了一种方法,可使用单个“应用程序事件触发器”监控多个目标元素,并允许监控的目标数量为动态(监控的目标在设计时后可能会发生变化)。在此之前,具有“应用程序事件触发器”的触发工作流仅监控单个目标元素,这要求您为希望自动化监控的每个目标元素创建触发的工作流。
我们增加了对以下 SAP WebGUI 元素的支持:SAP 菜单项(使用“选择项目”活动)、SAP 工具栏按钮(使用“单击工具栏按钮”活动)和 SAP 树(包括稳定识别树以及在所有浏览器和所有 SAP FIORI 版本中实现可靠的自动化)。请注意,您可以使用现有功能来自动化各种其他 SAP WebGUI 元素,例如 ABAP 列表、上下文菜单、图片、文本编辑控件、通用对象服务、对话框和表格控件。
ColumnName
。此外,您可以筛选列和行,以使用任何其他属性来标识元素。已重命名两个属性名称以支持此改进:“列名称”变为“列名称/筛选器”,“行号”变为“行号/筛选器”。
我们添加了对自动化旧版 Oracle Siebel CRM 应用程序(例如 7 或 8)的支持。
我们添加了对 Clarity Java 应用程序的 CTable 组件的支持。
为所有“用户界面自动化”对话框消息添加了“复制到剪贴板”选项。
我们改进了为嵌套远程会话显示的错误消息。
在此版本的活动包中,我们通过考虑每种定位方法在定位能力和对用户界面更改的弹性方面的相关性来优化核心问题,并且解决了 23.4.x 版本中的主要限制。因此,现在,当指示完整表格时,用户界面自动化表格提取将由计算机视觉提升,并且还为纯计算机视觉场景启用了表格提取;您可以更改 OCR 引擎,因为除了嵌入式 UiPath 屏幕 OCR 之外,您现在还可以选择自定义 OCR 引擎;默认情况下,系统会在无作用域活动中启用 Computer Vision,以进一步提升完全加载的目标(同时具有选取器和 Computer Vision 描述符);我们通过更新驱动程序和 Computer Vision 之间有关边框的协调逻辑,优化了指示用户界面元素的体验。因此,我们一直在继续追求统一的用户界面自动化用户体验,既可以创建纯 Computer Vision 自动化,也可以创建 Computer Vision 和驱动程序支持的组合自动化,而用户无需了解每种定位方法的复杂性。相关具体信息如下所示。
现在,一个新的层次结构概念已应用于“统一目标”,其中考虑了每种定位方法及其在定位能力和对用户界面更改的恢复能力方面的相关性。因此,现在选取器被视为主要定位方法,Computer Vision 为次要定位方法,而图像为第三定位方法(现已默认禁用)。在此之前,所有定位方法都会尝试同时识别目标元素,然后使用首先找到目标元素的定位方法。此外,在“项目设置”>“新式用户界面自动化”中添加了一个新设置“等待主要定位方法,直至超时”。该设置默认情况下设置为 True,并允许主要定位方法用尽其完整超时,直到可以使用任何后备定位方法为止。
Computer Vision 现在已集成到“表格提取”向导中。您现在只需指定完整的表格,而不必先指定相关的表格单元。由于 Computer Vision 可以查看整个表格,因此现在也可以在设计时使用此功能,以在指示完整表格时更正基于选取器的错误提取。但是,在 Runtime,当基于选取器的提取在提取完整表格时出现问题时,我们还不支持 Computer Vision 回退机制。对于根本不可用选取器的场景(例如未安装远程运行时的远程桌面),您也可以提取纯 Computer Vision 表格,而无需切换到“Computer Vision 屏幕作用域”活动或“Computer Vision 提取表格”活动。除此之外,您现在还可以通过在向导中指明“下一步”按钮,在纯 Computer Vision 场景中提取跨多个页面的表格。
使用与“CV 提取表格”活动中相同的逻辑,现在也可以在“表格提取”向导中提取纯 Computer Vision 场景中的可滚动表格,以及使用“CV 获取文本”提取可滚动文本。“日志表格滚动数据”项目设置(“项目设置”>“Computer Vision”>“机器人日志记录”)已重命名为“日志可滚动内容提取数据”,现在该设置涵盖“Computer Vision 表格提取”、“纯 Computer Vision 场景中用于可滚动表格的表格提取”以及包含可滚动文本内容的“CV 获取文本”。
在“使用应用程序/浏览器”活动中,除了 Computer Vision 嵌入式 OCR 引擎(即 UiPath 屏幕 OCR)之外,您现在还可以在统一目标中使用自定义 OCR 引擎来增强 Computer Vision 中的文本提取。可以在每个“使用应用程序/浏览器”活动中更改 OCR 引擎,方法是转到活动卡 > 在指定用户界面元素后,选择信息性屏幕截图旁边显示的汉堡菜单 > 选择“OCR 引擎”> “自定义 OCR 引擎”。选择此选项后,系统会在活动卡中添加一个面板,您可以在其中放置与嵌入的 OCR 引擎活动不同的 OCR 引擎活动。这仅影响 Computer Vision 目标,因为其余的 OCR 活动仍使用“项目设置”>“OCR”部分中设置的默认 OCR。
由于最佳路径具有完全加载的目标,因此当在“项目设置”中启用 Computer Vision 时,它现在会自动启用,以便在无作用域活动(可在“使用应用程序/浏览器”作用域之外使用)中进行指示。
在“项目设置”中启用计算机视觉作为定位方法时,“应用程序/网页录制器”现在也可以捕获计算机视觉描述符。
我们通过匹配两个目标来调整驱动程序和 Computer Vision 之间有关边框的协调逻辑,以避免指示“仅 Computer Vision”的目标并支持完全加载的目标。现在,应该为无法访问选取器的远程桌面等场景保留选择“仅 Computer Vision”目标的功能。
现在,“精确选取器失败”在日志中显示为警告,并提供十个最接近选取器匹配项的建议,这些建议可用于替换错误的选取器。默认情况下,在“未找到元素”错误消息中的“项目设置”>“新式用户界面自动化”>“显示最接近的匹配项”中,此功能设置为“True”。
Computer Vision 屏幕截图不再需要初始延迟,因此现在指示会话的启动速度更快。
如果您更喜欢在构建自动化时编码,现在可以使用编码自动化来实现。编码自动化支持 UiPath 服务,例如用户界面自动化活动,并允许您通过与低代码自动化集成来创建混合自动化。
请访问“用户界面自动化 API”部分,浏览可用的 API,并访问“编码自动化简介”,了解如何创建编码自动化。
-
修复了 Chrome 和 Edge 版本 117 中对包含 IFrame 元素或 PDF 的网页的主动式辅助支持中断的问题,该支持导致
<ctrl />
选取器失败。还添加了将额外命令行参数传递给使用“打开浏览器”/“使用浏览器”活动打开的浏览器的选项。这可以通过使用“设置环境变量”活动设置适当的环境变量来完成:UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
这些变量可用于强制启用 Chrome 和 Edge 中的 Active Accessibility 支持,以避免出现诸如版本 114 和 117 中已损坏的 Chrome/Edge Active Accessibility 支持等问题。
对于 Chrome,将环境变量UIPATH_EXTRA_CMD_ARGS_CHROME
的值设置为--force-renderer-accessibility=complete
。对于 Edge,将环境变量UIPATH_EXTRA_CMD_ARGS_EDGE
的值设置为--force-renderer-accessibility=complete
。 - 在隐私模式下使用 Microsoft Edge(版本 115 及更高版本)时,MV3 浏览器扩展程序无法初始化。我们已为此问题实施一种解决方法,该方法会影响所有 MV3 扩展程序,而不仅仅是 UiPath Microsoft Edge 扩展程序。
- 我们通过添加六个传统用户界面自动化 – 浏览器项目设置,解决了一些影响“打开浏览器”和“使用浏览器”活动的扩展程序初始化问题:“打开浏览器 Chrome/Edge 的额外参数”、“打开浏览器 Chrome/Edge 的自定义可执行路径”和“为打开浏览器 Chrome/Edge 启用重试”。
- 将 SAP WinGUI 设置为日语时,“表格单元格作用域”活动无法识别列名称。
- 数据抓取为 Salesforce 报告返回了空单元格。
- 现在,通过离线组策略安装的自托管 MV2 浏览器扩展程序支持在应用程序模式下运行的 Chrome/Edge。
-
安装具有管理员权限的扩展程序时,
UiPath.Common
现在会自动部署到%ProgramFiles(x86)%\UiPath\UiPath.Common
。现在,在没有管理员权限的情况下安装扩展程序时,UiPath.Common
会自动部署到%LocalAppData%\Programs\UiPath\UiPath.Common
。 -
我们使用 ServiceNow 框架添加了对网页的支持。
- 选取器中的
tableCol
标签导致无法识别某些表格元素。 - 现在,您可以自动化在其他 Windows 用户(运行 UiPath Robot/Studio 的用户除外)下运行的应用程序,而无需以管理员身份运行 Robot/Studio。
- 在跨平台的“使用浏览器”活动中,如果在设计时在无服务器计算机上打开多个选项卡(已确认连接)、用户从 Studio 中注销、用户已删除其 Orchestrator 中的个人工作区或遇到与 Orchestrator 的通信错误时,浏览器会连接失败或变得无响应。
- 当重用搜索花费的时间超过三秒时,将活动中的选取器添加到对象存储库失败,并显示“操作已取消”错误消息。
- “使用应用程序/浏览器”活动会在 StudioX 的设计时引发异常,因为星号表示某个属性字段为必填项。
- “发送热键”活动导致 .xaml 文件显示为未保存。
- 即使在“项目设置”中禁用“图像”作为定位方法,系统仍会捕获“图像”屏幕截图。
-
达到 Computer Vision 速率限制时显示的
You Are Calling The Computer Vision Server Too Often [429]
错误消息已更改为Error: Rate limit exceeded. If you're on a free tier, consider upgrading to paid license. If already on a paid license, please contact UiPath for further upgrade options
。 - 新式“获取文本”活动不会在纯 Computer Vision 场景中提取文本。