activities
latest
false
重要 :
请注意此内容已使用机器翻译进行了部分本地化。 新发布内容的本地化可能需要 1-2 周的时间才能完成。
UiPath logo, featuring letters U and I in white

用户界面自动化活动

上次更新日期 2024年12月4日

v23.4

v23.4.11

发行日期:2024 年 4 月 3 日

改进

出于计算机视觉运行时分析的可追踪性和调试速度的目的,现在在 HTTP 请求的标头中发送设计时屏幕 ID。

错误修复

  • 无法在iframe HTML 元素中监控“应用程序事件触发器”活动中的“已出现”事件类型。

v23.4.10

发行日期:2023 年 10 月 26 日

改进

在本版本中,我们对活动包进行了一些细微的改进和错误修复。

v23.4.9

发布日期:2023 年 10 月 5 日

错误修复

  • 修复了 Chrome 和 Edge 版本 117 中对包含 IFrame 元素或 PDF 的网页的主动式辅助支持中断的问题,该支持导致 <ctrl /> 选取器失败。
    还添加了将额外命令行参数传递给使用“打开浏览器”/“使用浏览器”活动打开的浏览器的选项。这可以通过使用“设置环境变量”活动设置适当的环境变量来完成:
    • UIPATH_EXTRA_CMD_ARGS_CHROME
    • UIPATH_EXTRA_CMD_ARGS_EDGE
    • UIPATH_EXTRA_CMD_ARGS_FIREFOX

    这些变量可用于强制启用 Chrome 和 Edge 中的 Active Accessibility 支持,以避免出现诸如版本 114 和 117 中已损坏的 Chrome/Edge Active Accessibility 支持等问题。

    对于 Chrome,将环境变量 UIPATH_EXTRA_CMD_ARGS_CHROME 的值设置为 --force-renderer-accessibility=complete
    对于 Edge,将环境变量 UIPATH_EXTRA_CMD_ARGS_EDGE 的值设置为 --force-renderer-accessibility=complete

v23.4.8

发布日期:2023 年 8 月 2 日

错误修复

  • 修复了“发送热键”活动的一个错误,该错误会导致 .xaml 文件将显示为未保存。
  • 修复了“使用应用程序/浏览器”活动的一个错误,该错误会在 StudioX 的设计时引发异常,因为星号表示某个属性字段为必填项。
  • 我们添加了对 Clarity Java 应用程序的 CTable 组件的支持。

v23.4.7

发布日期:2023 年 6 月 7 日

错误修复

  • Chrome 和 Edge 到版本 114 的最新更新对主动式辅助支持的启用方式发生了重大变化。 这会导致尝试与浏览器屏幕(例如“打印”弹出窗口或 PDF 查看器)交互时,自动化流程失败。

v23.4.6

发行日期:2023 年 6 月 7 日

改进

此包版本包括各种辅助功能改进。

v23.4.5

发行日期:2023 年 4 月 27 日

新特性和改进功能

现在可以在跨平台项目中使用用户界面自动化浏览器连接。

您只能在 Studio Web(当前为预览版)中创建和编辑连接,并在 Studio Web 和 Studio 桌面版中使用该连接。

该功能只能与 Serverless Automation Cloud Robot一起运行;尝试使用本地机器人运行该功能会导致失败。

有关更多信息,请参阅专用的 用户界面自动化浏览器连接 文档页面。

v23.4.4

发行日期:2023 年 4 月 27 日

常规改进

为了减少 Runtime的包大小,尤其是对于跨平台项目, UiPath.UIAutomation.Activities 包分为设计时包和 Runtime 包,如下所示:
  • UiPath.UIAutomation.Activities - 设计时包
  • UiPath.UIAutomation.Activities.Runtime - 运行时包;针对 WindowsWindows 旧版 项目
  • UiPath.UIAutomation.Activities.Runtime.Portable - 便携式包的运行时;目标 跨平台 项目
“用户界面自动化新式 项目设置”和“用户界面自动化传统项目设置” 中提供了两个新选项。 “打开浏览器超时(秒) ” 允许您配置浏览器启动超时,并且“ 注入 Js 脚本 - 执行世界 ” 将全局应用“ InjectJs.Execution World” 设置。 也可以通过 UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS 环境变量配置“ 打开浏览器超时 ”值。

现在,您可以使用“ 打开应用程序 ”和“ 使用应用程序/浏览器 ”活动打开 Power BI Desktop 应用程序。

我们为更多浏览器复选框添加了“选中”支持。

我们改进了“ 选择项目 ”活动,以支持复杂的 HTML 下拉列表,例如非原生和非 SAP Fiori/Salesforce 下拉列表。

指示 UiPath Remote Runtime 组件和 UiPath.UIAutomation.Activities 包之间版本不匹配的错误提示现在包含正确的 UiPathRemoteRuntime.msi 版本的下载链接。

UI Explorer 选取器不再包含树节点的隐藏根。

UI Explorer 在指定元素后不再还原 Studio 窗口。

事件数据的 Modifiers 字段现已映射到 NKeyModifier 枚举,并在调用 toString() 方法时返回字符串(例如 Shift、Alt 或 Ctrl),而不是整数。

如果在项目中使用新式活动,则此信息现在包含在已发布的包中,然后 可在 Orchestrator 中使用。 此功能需要 Studio 2023.4 或更高版本。

浏览器扩展程序

我们向 Chrome 和 Edge 扩展程序添加了 webRequest 权限,以允许使用 webRequest API。 Chrome 和 Edge 扩展程序 v2023.4 已使用新的扩展程序 ID 在网上应用店中发布。 用于组策略离线安装的自托管扩展程序也已使用此权限进行更新,但它们保留相同的扩展程序 ID。

使用“ 仅限原生主机” 方法安装扩展程序时,还会生成自托管扩展程序的文件,以便可以将其添加到 ExtensionInstallForceList 策略中。

改进了对基于 Chromium 的嵌入式浏览器的支持

我们改进了对基于 Chromium 的嵌入式浏览器(Electron、CEF 103+)的支持,并添加了对孤立 WebView2 窗口的支持。

我们添加了对 Chromium 原生版本 108、109 和 110 的支持。

现在支持 Chromium 原生嵌入式浏览器的跨域呼叫转移。 这适用于 CEF 原生控件和 Electron 网页控件。

我们添加了对自动化嵌入在具有多个用户界面线程的应用程序中的 CefSharp 微件的支持。

我们改进了对 Electron 应用程序的支持,这些应用程序在单个浏览器窗口中创建多个浏览器视图。 现在,每个视图都可以实现自动化。

基于触发器的 Attended 自动化

在执行性能至关重要的基于触发器的 Attended 自动化计划中,我们通过实施由不同类型的应用程序技术支持的新事件集来提高事件监控的可用性和性能:带有<wnd><ctrl>标签的主动式辅助、带有<webctrl>标签的网页,以及带有<java>标签的 Java。 可通过新的“应用程序事件触发器”活动使用这些事件,该活动有助于基于原生事件为任何类型的用户界面元素设置触发器。

同样,在基于触发器的 Attended 自动化中,我们已将最常用的传统触发器迁移到新式框架。 新的“单击事件触发器”和“按键事件触发器”新式活动旨在通过统一的目标概念、使用对象存储库元素并提供更友好的用户界面来识别元素。

我们提供它们作为基于触发器的 Attended 自动化解决方案的一部分,一个重要原因是这些触发器可以阻止原始事件并在稍后重播,或者直接忽略它。 此特定功能允许实施场景,例如在正确填写所有字段之前停止表单提交。

如果在“活动”选项卡中添加了“传统”筛选器,则旧的传统活动“ 单击触发器 ”和 “按键触发器 ”在此版本的包中仍可见。

对于所有触发器活动(应用程序事件触发器单击事件触发器按键事件触发器),我们具有以下行为:
  • 当活动位于“ 触发器作用域”内时,该活动不会显示“ 计划模式 ”和“ 已 启用 ”属性。 在本例中,“ 触发器作用域 ”活动中的“计划模式”属性可用。
  • 在没有 触发器作用域的情况下添加活动时,系统将自动生成 触发器 作用域,并为触发器活动显示 计划模式 和已 启用 属性。
一些现有的传统触发器活动可以在触发的工作流(新模型)中使用,也可以在 触发器作用域 活动(旧模型)中使用:
  • 热键触发器
  • 鼠标触发器
  • 单击图像触发器
  • 系统触发器
  • SAP 会话属性更改触发器
  • 元素状态更改触发器
  • 元素属性更改触发器

但是, 元素状态更改触发器元素属性更改触发器 活动现在已从活动包中隐藏。 如果在工作流中找到它们,则可以使用它们,但无法再将它们添加到画布中。

设置文本 ”活动刚刚获得新式版本,该版本可以使用统一的目标概念识别目标,并且可以使用对象存储库存储的元素。 此外,它可以缓存目标元素,以在重复执行时提高执行速度,例如,在多个用户界面元素之间同步文本时。

原生 WPF 支持

WPF 应用程序可以通过主动式辅助实现自动化,除非禁用了该应用程序的辅助功能支持,否则该功能开箱即用。 例如,应用程序更新后可能会失去辅助功能支持,在这种情况下,您可能无法针对特定区域中的单个元素。

UiPath.UIAutomation.Activities v2023.4 使用原生 WPF API(而不是当前使用的通用辅助功能 API)提供对用户界面元素的访问。 此功能旨在使用具有 <wpf> 属性的选取器可靠地自动化 WPF 应用程序,以适应更改。

此功能可通过新的项目设置获得:“ 用户界面自动化新式” >“ 定位方法 - 桌面应用程序 ”>“ 生成原生 WPF 选取器(预览版)”。 此选项的默认值为 False

在 v2023.4 中,此功能处于 预览 状态,因为未来的版本可能会引入重大更改。

用户界面自动化新式活动

注入 JS 脚本 活动(包括传统活动和新式活动)具有新的“ 执行环境 ” 属性字段,可用于设置要在其中执行脚本的 JavaScript 环境。 “ 隔离 ”选项适用于活动的先前功能,允许内容脚本在不与页面冲突的情况下更改其 JavaScript 环境。 新的 “页面” 选项也允许脚本与页面交互。

添加到活动包中的另一个新式活动是“ 检查元素”。 现在,您可以以策划的方式检查启用或禁用元素的状态,并根据其状态执行 Actions ,例如,在创建导航多页应用程序以抓取数据的自动化时,您到达最后一页,下一页按钮被禁用,您需要停止抓取。

新式活动需要应用程序卡/作用域,以最小化目标元素的搜索区域,从而提高自动化可靠性。 但是,当活动收到 UiElement 作为输入时,现在不需要应用程序卡/作用域。 因此,所有新式活动都已相应地更新。

添加了对在 StudioX 中使用“ 获取属性” 活动并将其保存到 Excel 时写入元素列表的支持。

通过使用比例因子比(设计时与 Runtime)改进了图像选取器的匹配。

改进了根据所选属性返回的“ 获取属性” 活动的对象类型。

在“ 表格数据提取 ”记录器中为重复的列名称添加了红色指示器。

SAP

我们添加了对使用硬件事件实现可靠的 SAP WebGUI 自动化的支持,包括准确识别元素、以 sapweb-ls (对于 Light速度控件)或 sapweb- (对于 SAP 脚本控件)为前缀的稳定属性,以及可靠地使用用户界面自动化的功能活动(单击键入选择项目等)。 在此版本中,我们添加了对以下元素的特定支持:SAP 按钮(图标、普通按钮和单选按钮)、SAP 输入字段、SAP 下拉列表和 SAP 复选框。

我们添加了对 SAP Fiori 日历的特定支持。现在,借助“在日历中选择日期”活动,您可以轻松自动化所有基于 SAP Fiori 的系统(例如 SAP S/4HANA 或 SAP SuccessFactors)的日历。

我们添加了对 SAP FIORI 流程流控件的支持,包括提取这些元素状态的功能。 我们还介绍了复杂属性的概念,它具有 ui5c- 前缀并以 JSON 格式表示。 请注意,新属性的内容是持久性的,但字符串不可靠。 例如,您可以将 {“a”:”value1”, “b”:”value2”} 用于第一次调用,将 {“b”:”value2”, “a”:”value1”} 用于下一次调用。

Computer Vision

现在,Computer Vision 是统一目标解决方案的一部分,当您同时需要选取器和 Computer Vision 描述符时,可帮助您降低构建基于用户界面的自动化的复杂性。

将 Computer Vision 添加到统一目标可提高基于用户界面的自动化的可靠性和对更改的弹性:通常,您无法控制应用程序用户界面的更改; UiPath 机器人必须开箱即用地处理这些情况,并且不会中断,不受用户界面确定性更改的影响。

在驱动程序无法“看到”某些用户界面元素的极少数情况下,或者有时它可能是唯一可行的技术(例如 VDI 自动化),计算机视觉可能是针对用户界面元素的深度训练。 使用 Computer Vision 的其他用例介于上述场景之间。

在可移植性方面,通过替换窗口选取器,原生 Windows 中指定的任何自动化都可以在远程桌面环境中重复使用。

“项目设置” >“ 新式用户界面自动化” 中,默认情况下将为 桌面应用程序Java网页浏览器 启用Computer Vision的快乐路径,默认为 SAP 禁用,因为 SAP 的快乐路径使用严格选取器。

也可以通过选择选项助手新的垂直栏设计启用 Computer Vision,并且它还具有键盘快捷键 (F8)。

计算机视觉刷新 ”活动在包中已隐藏,并且无法再用于新项目。

已知问题

如果(从 “ 项目设置” >“用户界面自动化传统” >“浏览器”)设置为 True,则默认情况下会为触发器活动生成网页选取器。 由于用户界面自动化触发器活动当前不支持嵌入式浏览器应用程序,因此如果使用默认生成的选取器(网页选取器),则不会触发事件。 解决方法是,可以通过将用户界面框架从 “默认 ”更改为“ 主动式辅助 ”,同时指定目标用户界面元素,从而使用 AA 选取器。 未来的版本中将添加对用于用户界面自动化触发器活动的嵌入式浏览器应用程序的支持。

在“ 应用程序事件触发器 ”监控活动中使用时,Java Runtime 环境限制会导致中键和右键触发的 ClickMouse released 事件发生意外的修饰符行为,如下所示:带有中间按钮的 Actions 如果不带有修饰符,则会报告 alt 修饰符;但是,使用中间按钮和 alt修饰符执行的相同Actions会正确报告。 带有右键且不带修饰符的 Actions 报告 win/meta 修饰符;正确报告使用右键和 win/meta 修饰符执行的相同 Actions 。
当前不支持原生 WPF 的SendWindowMessages

错误修复

  • 现在,即使您默认启用了“ 启用保护模式” 选项,也可以使用高于 2022.003.20258 的版本自动化 Acrobat Reader。 有关详细信息,请参阅 Adobe Reader DC 中的安全选项
  • 与“ 模拟 ”输入方法一起使用时,特定表单元素上的“单击”活动失败。 现在,您可以使用“ 项目设置”中的“启用使用 MV3 扩展程序模拟单击的解决方法”选项。
  • 对于某些网站,选取器验证在 Edge IE 模式下失败。 当在 Edge IE 模式下打开的网页 URL 重定向到与 Edge Chromium 中的 URL 不同的另一个 URL 时,会发生此问题。
  • 浏览器自动化活动间歇性无法与 Chrome 扩展程序通信,从而导致以下错误:“无法与浏览器通信,请检查 UiPath 扩展程序。” 此问题发生在速度较慢的计算机或 CPU 负载高的计算机上。 为解决此问题,Chromium 浏览器通信超时已增加到 30 秒。
  • 修复了一个错误,该错误会阻止您在 Internet Explorer 开发者工具 窗口中指定选项卡元素。
  • 将“ 传统用户界面自动化” >“ 浏览器”>“ 启用 WebView2 原生自动化 项目设置”设置为 “ True ”时,在 SAP Business Client 中打开的某些 SAP Fiori 页面中,系统会生成 WNDCTRL 选取器,而不是 HTMLWEBCTRL
  • 修复了将远程桌面客户端发布为远程应用程序时,导致无法为远程桌面生成选取器的错误。
  • 修复了在 Java 应用程序上使用 “ 获取可见文本 ”活动时导致 UiPath 执行程序崩溃的错误。
  • 对于 Java Runtime 环境版本 13 至 19,当在单元格处打开单元格编辑器时,指示该单元格现在会返回一个有效元素,其角色与编辑者相对应(例如 text)。 以前,生成的元素不可用。
  • 修复了一个问题,该问题导致在关闭 保护模式 的情况下,以 Edge IE 模式打开网页时,“单击触发器”活动会降低目标应用程序的速度。
  • 修复了“ 表格提取 ” 的问题,该问题会阻止从输入字段中提取值。 在修复之前,元数据中生成的默认 text 属性使用 innerText HTML 属性来检索文本。 从 v2023.4 开始, 新生成的工作流和活动使用 fulltext 作为默认属性。 此新属性使用与全文抓取方法相同的方法。 要在新活动中使用 innerText 属性,您可以手动编辑元数据并将属性名称从 fulltext 更改为文本。
  • 修复了数据抓取中的一个错误,该错误由于列索引被错误地标记为列名称而导致联接数据表向导失败,并显示“未找到列”错误消息。
  • 修复了一个错误,该错误导致提取可滚动表格时,在某些情况下,“ CV 提取表格 ”活动在第一个滚动事件之前停止。
  • 修复了“ 单击 ”活动的一个错误,该错误导致在“ 模拟”上设置“输入模式”时,活动卡在特定元素上。 为解决此问题,我们在传统的“ 单击 ”活动中添加了新的“取消阻止输入”属性,当“ 单击 ”触发模态对话框或其他阻止用户界面时,应使用该属性。
  • 修复了新式活动的一个错误,当文化信息将逗号解释为小数分隔符时,该错误会导致活动无法正常工作。
  • 修复了“ 附加浏览器 ”活动的一个错误,该错误在使用 浏览器 变量时会生成内存泄漏。
  • 修复了“ 查找 OCR 文本位置 ” 活动的一个错误,该错误会导致当文本包含特殊字符(例如 %)时活动找到不正确的位置。
  • 修复了 对象存储库 中的一个错误,该错误导致编辑目标时无法正确更新设计数据属性。
  • 修复了“输入”、“键盘快捷键”和“鼠标滚动”活动的错误,该错误会抛出无效的警告,指明 Click Offset is not supported on Simultate Input mode
  • 修复了计算机视觉屏幕作用域中的一个错误,该错误导致即使从活动卡或项目设置中删除 UiPath 屏幕 OCR,本地服务器仍不断返回 OCR 框。

此页面有帮助吗?

获取您需要的帮助
了解 RPA - 自动化课程
UiPath Community 论坛
Uipath Logo White
信任与安全
© 2005-2024 UiPath。保留所有权利。