- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
用户界面自动化活动
v23.4
发行日期:2024 年 4 月 3 日
发布日期:2023 年 10 月 5 日
-
修复了 Chrome 和 Edge 版本 117 中对包含 IFrame 元素或 PDF 的网页的主动式辅助支持中断的问题,该支持导致
<ctrl />
选取器失败。还添加了将额外命令行参数传递给使用“打开浏览器”/“使用浏览器”活动打开的浏览器的选项。这可以通过使用“设置环境变量”活动设置适当的环境变量来完成:UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
这些变量可用于强制启用 Chrome 和 Edge 中的 Active Accessibility 支持,以避免出现诸如版本 114 和 117 中已损坏的 Chrome/Edge Active Accessibility 支持等问题。
对于 Chrome,将环境变量UIPATH_EXTRA_CMD_ARGS_CHROME
的值设置为--force-renderer-accessibility=complete
。对于 Edge,将环境变量UIPATH_EXTRA_CMD_ARGS_EDGE
的值设置为--force-renderer-accessibility=complete
。
发布日期:2023 年 8 月 2 日
发布日期:2023 年 6 月 7 日
发行日期:2023 年 4 月 27 日
现在可以在跨平台项目中使用用户界面自动化浏览器连接。
您只能在 Studio Web(当前为预览版)中创建和编辑连接,并在 Studio Web 和 Studio 桌面版中使用该连接。
该功能只能与 Serverless Automation Cloud Robot一起运行;尝试使用本地机器人运行该功能会导致失败。
有关更多信息,请参阅专用的 用户界面自动化浏览器连接 文档页面。
发行日期:2023 年 4 月 27 日
- UiPath.UIAutomation.Activities - 设计时包
- UiPath.UIAutomation.Activities.Runtime - 运行时包;针对 Windows 和 Windows 旧版 项目
- UiPath.UIAutomation.Activities.Runtime.Portable - 便携式包的运行时;目标 跨平台 项目
UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS
环境变量配置“ 打开浏览器超时 ”值。
现在,您可以使用“ 打开应用程序 ”和“ 使用应用程序/浏览器 ”活动打开 Power BI Desktop 应用程序。
我们为更多浏览器复选框添加了“选中”支持。
我们改进了“ 选择项目 ”活动,以支持复杂的 HTML 下拉列表,例如非原生和非 SAP Fiori/Salesforce 下拉列表。
UiPathRemoteRuntime.msi
版本的下载链接。
UI Explorer 选取器不再包含树节点的隐藏根。
UI Explorer 在指定元素后不再还原 Studio 窗口。
Modifiers
字段现已映射到 NKeyModifier
枚举,并在调用 toString()
方法时返回字符串(例如 Shift、Alt 或 Ctrl),而不是整数。
如果在项目中使用新式活动,则此信息现在包含在已发布的包中,然后 可在 Orchestrator 中使用。 此功能需要 Studio 2023.4 或更高版本。
webRequest
权限,以允许使用 webRequest
API。 Chrome 和 Edge 扩展程序 v2023.4 已使用新的扩展程序 ID 在网上应用店中发布。 用于组策略离线安装的自托管扩展程序也已使用此权限进行更新,但它们保留相同的扩展程序 ID。
使用“ 仅限原生主机” 方法安装扩展程序时,还会生成自托管扩展程序的文件,以便可以将其添加到 ExtensionInstallForceList 策略中。
改进了对基于 Chromium 的嵌入式浏览器的支持
我们改进了对基于 Chromium 的嵌入式浏览器(Electron、CEF 103+)的支持,并添加了对孤立 WebView2 窗口的支持。
我们添加了对 Chromium 原生版本 108、109 和 110 的支持。
现在支持 Chromium 原生嵌入式浏览器的跨域呼叫转移。 这适用于 CEF 原生控件和 Electron 网页控件。
我们添加了对自动化嵌入在具有多个用户界面线程的应用程序中的 CefSharp 微件的支持。
我们改进了对 Electron 应用程序的支持,这些应用程序在单个浏览器窗口中创建多个浏览器视图。 现在,每个视图都可以实现自动化。
<wnd>
和<ctrl>
标签的主动式辅助、带有<webctrl>
标签的网页,以及带有<java>
标签的 Java。 可通过新的“应用程序事件触发器”活动使用这些事件,该活动有助于基于原生事件为任何类型的用户界面元素设置触发器。
同样,在基于触发器的 Attended 自动化中,我们已将最常用的传统触发器迁移到新式框架。 新的“单击事件触发器”和“按键事件触发器”新式活动旨在通过统一的目标概念、使用对象存储库元素并提供更友好的用户界面来识别元素。
我们提供它们作为基于触发器的 Attended 自动化解决方案的一部分,一个重要原因是这些触发器可以阻止原始事件并在稍后重播,或者直接忽略它。 此特定功能允许实施场景,例如在正确填写所有字段之前停止表单提交。
如果在“活动”选项卡中添加了“传统”筛选器,则旧的传统活动“ 单击触发器 ”和 “按键触发器 ”在此版本的包中仍可见。
- 当活动位于“ 触发器作用域”内时,该活动不会显示“ 计划模式 ”和“ 已 启用 ”属性。 在本例中,“ 触发器作用域 ”活动中的“计划模式”属性可用。
- 在没有 触发器作用域的情况下添加活动时,系统将自动生成 触发器 作用域,并为触发器活动显示 计划模式 和已 启用 属性。
- 热键触发器
- 鼠标触发器
- 单击图像触发器
- 系统触发器
- SAP 会话属性更改触发器
- 元素状态更改触发器
- 元素属性更改触发器
但是, 元素状态更改触发器 和 元素属性更改触发器 活动现在已从活动包中隐藏。 如果在工作流中找到它们,则可以使用它们,但无法再将它们添加到画布中。
“ 设置文本 ”活动刚刚获得新式版本,该版本可以使用统一的目标概念识别目标,并且可以使用对象存储库存储的元素。 此外,它可以缓存目标元素,以在重复执行时提高执行速度,例如,在多个用户界面元素之间同步文本时。
WPF 应用程序可以通过主动式辅助实现自动化,除非禁用了该应用程序的辅助功能支持,否则该功能开箱即用。 例如,应用程序更新后可能会失去辅助功能支持,在这种情况下,您可能无法针对特定区域中的单个元素。
<wpf>
属性的选取器可靠地自动化 WPF 应用程序,以适应更改。
此功能可通过新的项目设置获得:“ 用户界面自动化新式” >“ 定位方法 - 桌面应用程序 ”>“ 生成原生 WPF 选取器(预览版)”。 此选项的默认值为 False。
在 v2023.4 中,此功能处于 预览 状态,因为未来的版本可能会引入重大更改。
注入 JS 脚本 活动(包括传统活动和新式活动)具有新的“ 执行环境 ” 属性字段,可用于设置要在其中执行脚本的 JavaScript 环境。 “ 隔离 ”选项适用于活动的先前功能,允许内容脚本在不与页面冲突的情况下更改其 JavaScript 环境。 新的 “页面” 选项也允许脚本与页面交互。
添加到活动包中的另一个新式活动是“ 检查元素”。 现在,您可以以策划的方式检查启用或禁用元素的状态,并根据其状态执行 Actions ,例如,在创建导航多页应用程序以抓取数据的自动化时,您到达最后一页,下一页按钮被禁用,您需要停止抓取。
UiElement
作为输入时,现在不需要应用程序卡/作用域。 因此,所有新式活动都已相应地更新。
添加了对在 StudioX 中使用“ 获取属性” 活动并将其保存到 Excel 时写入元素列表的支持。
通过使用比例因子比(设计时与 Runtime)改进了图像选取器的匹配。
改进了根据所选属性返回的“ 获取属性” 活动的对象类型。
在“ 表格数据提取 ”记录器中为重复的列名称添加了红色指示器。
sapweb-ls
(对于 Light速度控件)或 sapweb-
(对于 SAP 脚本控件)为前缀的稳定属性,以及可靠地使用用户界面自动化的功能活动(单击、 键入、 选择项目等)。 在此版本中,我们添加了对以下元素的特定支持:SAP 按钮(图标、普通按钮和单选按钮)、SAP 输入字段、SAP 下拉列表和 SAP 复选框。
我们添加了对 SAP Fiori 日历的特定支持。现在,借助“在日历中选择日期”活动,您可以轻松自动化所有基于 SAP Fiori 的系统(例如 SAP S/4HANA 或 SAP SuccessFactors)的日历。
ui5c-
前缀并以 JSON 格式表示。 请注意,新属性的内容是持久性的,但字符串不可靠。 例如,您可以将 {“a”:”value1”, “b”:”value2”}
用于第一次调用,将 {“b”:”value2”, “a”:”value1”}
用于下一次调用。
现在,Computer Vision 是统一目标解决方案的一部分,当您同时需要选取器和 Computer Vision 描述符时,可帮助您降低构建基于用户界面的自动化的复杂性。
将 Computer Vision 添加到统一目标可提高基于用户界面的自动化的可靠性和对更改的弹性:通常,您无法控制应用程序用户界面的更改; UiPath 机器人必须开箱即用地处理这些情况,并且不会中断,不受用户界面确定性更改的影响。
在驱动程序无法“看到”某些用户界面元素的极少数情况下,或者有时它可能是唯一可行的技术(例如 VDI 自动化),计算机视觉可能是针对用户界面元素的深度训练。 使用 Computer Vision 的其他用例介于上述场景之间。
在可移植性方面,通过替换窗口选取器,原生 Windows 中指定的任何自动化都可以在远程桌面环境中重复使用。
在 “项目设置” >“ 新式用户界面自动化” 中,默认情况下将为 桌面应用程序、 Java 和 网页浏览器 启用Computer Vision的快乐路径,默认为 SAP 禁用,因为 SAP 的快乐路径使用严格选取器。
也可以通过选择选项助手新的垂直栏设计启用 Computer Vision,并且它还具有键盘快捷键 (F8)。
“ 计算机视觉刷新 ”活动在包中已隐藏,并且无法再用于新项目。
如果(从 “ 项目设置” >“用户界面自动化传统” >“浏览器”)设置为 True,则默认情况下会为触发器活动生成网页选取器。 由于用户界面自动化触发器活动当前不支持嵌入式浏览器应用程序,因此如果使用默认生成的选取器(网页选取器),则不会触发事件。 解决方法是,可以通过将用户界面框架从 “默认 ”更改为“ 主动式辅助 ”,同时指定目标用户界面元素,从而使用 AA 选取器。 未来的版本中将添加对用于用户界面自动化触发器活动的嵌入式浏览器应用程序的支持。
Click
和 Mouse released
事件发生意外的修饰符行为,如下所示:带有中间按钮的 Actions 如果不带有修饰符,则会报告 alt
修饰符;但是,使用中间按钮和 alt
修饰符执行的相同Actions会正确报告。 带有右键且不带修饰符的 Actions 报告 win/meta
修饰符;正确报告使用右键和 win/meta
修饰符执行的相同 Actions 。
SendWindowMessages
。
- 现在,即使您默认启用了“ 启用保护模式” 选项,也可以使用高于 2022.003.20258 的版本自动化 Acrobat Reader。 有关详细信息,请参阅 Adobe Reader DC 中的安全选项。
- 与“ 模拟 ”输入方法一起使用时,特定表单元素上的“单击”活动失败。 现在,您可以使用“ 项目设置”中的“启用使用 MV3 扩展程序模拟单击的解决方法”选项。
- 对于某些网站,选取器验证在 Edge IE 模式下失败。 当在 Edge IE 模式下打开的网页 URL 重定向到与 Edge Chromium 中的 URL 不同的另一个 URL 时,会发生此问题。
- 浏览器自动化活动间歇性无法与 Chrome 扩展程序通信,从而导致以下错误:“无法与浏览器通信,请检查 UiPath 扩展程序。” 此问题发生在速度较慢的计算机或 CPU 负载高的计算机上。 为解决此问题,Chromium 浏览器通信超时已增加到 30 秒。
- 修复了一个错误,该错误会阻止您在 Internet Explorer 开发者工具 窗口中指定选项卡元素。
- 将“ 传统用户界面自动化” >“ 浏览器”>“ 启用 WebView2 原生自动化 项目设置”设置为 “ True ”时,在 SAP Business Client 中打开的某些 SAP Fiori 页面中,系统会生成
WND
和CTRL
选取器,而不是HTML
和WEBCTRL
。 - 修复了将远程桌面客户端发布为远程应用程序时,导致无法为远程桌面生成选取器的错误。
- 修复了在 Java 应用程序上使用 “ 获取可见文本 ”活动时导致 UiPath 执行程序崩溃的错误。
- 对于 Java Runtime 环境版本 13 至 19,当在单元格处打开单元格编辑器时,指示该单元格现在会返回一个有效元素,其角色与编辑者相对应(例如
text
)。 以前,生成的元素不可用。 - 修复了一个问题,该问题导致在关闭 保护模式 的情况下,以 Edge IE 模式打开网页时,“单击触发器”活动会降低目标应用程序的速度。
- 修复了“ 表格提取 ” 的问题,该问题会阻止从输入字段中提取值。 在修复之前,元数据中生成的默认
text
属性使用innerText
HTML 属性来检索文本。 从 v2023.4 开始, 新生成的工作流和活动使用fulltext
作为默认属性。 此新属性使用与全文抓取方法相同的方法。 要在新活动中使用innerText
属性,您可以手动编辑元数据并将属性名称从fulltext
更改为文本。 - 修复了数据抓取中的一个错误,该错误由于列索引被错误地标记为列名称而导致联接数据表向导失败,并显示“未找到列”错误消息。
- 修复了一个错误,该错误导致提取可滚动表格时,在某些情况下,“ CV 提取表格 ”活动在第一个滚动事件之前停止。
- 修复了“ 单击 ”活动的一个错误,该错误导致在“ 模拟”上设置“输入模式”时,活动卡在特定元素上。 为解决此问题,我们在传统的“ 单击 ”活动中添加了新的“取消阻止输入”属性,当“ 单击 ”触发模态对话框或其他阻止用户界面时,应使用该属性。
- 修复了新式活动的一个错误,当文化信息将逗号解释为小数分隔符时,该错误会导致活动无法正常工作。
- 修复了“ 附加浏览器 ”活动的一个错误,该错误在使用 浏览器 变量时会生成内存泄漏。
- 修复了“ 查找 OCR 文本位置 ” 活动的一个错误,该错误会导致当文本包含特殊字符(例如 %)时活动找到不正确的位置。
- 修复了 对象存储库 中的一个错误,该错误导致编辑目标时无法正确更新设计数据属性。
- 修复了“输入”、“键盘快捷键”和“鼠标滚动”活动的错误,该错误会抛出无效的警告,指明
Click Offset is not supported on Simultate Input mode
。 - 修复了计算机视觉屏幕作用域中的一个错误,该错误导致即使从活动卡或项目设置中删除 UiPath 屏幕 OCR,本地服务器仍不断返回 OCR 框。