- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
用户界面自动化活动
使用应用程序/浏览器
UiPath.UIAutomationNext.Activities.NApplicationCard
打开要在用户界面自动化中使用的桌面应用程序或网页浏览器页面。
当浏览器不直接接受内部 URL 作为命令行参数时,无法使用此活动打开内部 URL。
chrome://
) 或 Edge (edge://
) 内部页面。但您可以打开 Firefox (about:
) 内部页面。
将活动拖放到工作流中并指定要使用的应用程序或网页后,在“ 使用应用程序/浏览器 ”活动中添加要执行的活动。 如果应用程序尚未打开,则系统会在执行项目时将其打开。
此活动可与对象存储库兼容。
- 从用户界面自动化 v20.10.x开始, 多个 “使用应用程序”/“浏览器” 活动可以相互嵌套。 这使您能够同时自动化多个应用程序。
- 从用户界面自动化 v21.10.3开始,“ 使用应用程序/浏览器 ”活动可以在远程环境中打开应用程序。
- 从用户界面自动化 v22.10.1开始,该活动还可以在远程环境中打开浏览器。
设计器面板
- 选择“指定应用程序”,通过将鼠标移动到应用程序窗口并选择应用程序来标识该应用程序。如果目标是浏览器网页,请先导航到该页面,然后再指定应用程序。
- 指定目标后,通过选择菜单选项按钮并选择以下选项之一来管理目标:
- 在屏幕上指定目标 - 再次指定应用程序。
- “高亮显示目标 ” - 在屏幕上以框的形式查看指定的应用程序。
- 显示内容丰富的屏幕截图 - 查看目标应用程序或网页的屏幕截图。
- 删除信息屏幕截图 - 删除目标应用程序或网页的屏幕截图。
- OCR 引擎 - 选择以下两个选项之一:
- 嵌入式 OCR 引擎 - 使用 Computer Vision AI 模型中嵌入的 OCR 引擎,即 UiPath 屏幕 OCR。
- 自定义 OCR 引擎 - 使用自定义 OCR 引擎。选择此选项后,将在活动卡中添加一个面板,您可以在其中放置与 UiPath 屏幕 OCR 不同的 OCR 引擎活动。
- 添加到对象存储库 - 将当前用户界面元素添加到库项目中,以便在整个自动化流程中重复使用该元素。
-
您可以使用“应用程序路径”(如果是应用程序)或“浏览器 URL”(如果是浏览器)字段旁边的 按钮来启动应用程序的新实例或新的浏览器会话,并保留当前的配置设置,如果通过此按钮打开浏览器,则应用“选项 - 浏览器”属性部分中进行的所有配置,从而使您能够在设计时测试活动的行为,从而减少运行时可能出现的故障。
- 配置应用程序启动设置:
- 如果应用程序是网页浏览器,则可以选择“浏览器 URL”字段右侧的加号,然后使用菜单中的某个选项编辑要打开网页的 URL。
- 如果应用程序不是网页浏览器,您可以执行以下操作:
- 从“应用程序参数”字段指定要在启动时传递给目标应用程序的参数。例如,如果目标应用程序是 Acrobat Reader,则可以通过提供特定 PDF 文件的完整路径来打开该文件。如要打开文件 C:\Sample.pdf,选择加号>“文本”,然后在文本生成器中输入
C:\Sample.pdf
。系统会自动识别某些应用程序类型并自动填充“参数”属性,例如 Java 应用程序、Office 套件应用程序、Adobe Acrobat 或 Windows 文件资源管理器。 -
选择“应用程序路径”字段右侧的加号,然后使用菜单中的某个选项编辑要打开的可执行文件的完整路径。对于以用户模式安装的应用程序,自动化不会保存包含用户名的实际路径,而是使用相对路径,并在字段中显示为
User Folder
。注意:当“应用程序路径”字段中定义的路径为动态路径时,如果目标应用程序尚未打开,则在子活动中选择“在屏幕上指明目标”会生成错误。 - 选中或取消选中“匹配确切标题”复选框。仅当您指示应用程序的整个窗口,而不仅仅是应用程序中的元素时,才会显示此选项。此外,当您指定网页浏览器时,此选项也不会出现。选中后,仅可在自动化中使用与当前应用程序标题完全匹配的应用程序。取消选中(默认选项)时,标题匹配度最高的窗口将用于自动化。
- 从“应用程序参数”字段指定要在启动时传递给目标应用程序的参数。例如,如果目标应用程序是 Acrobat Reader,则可以通过提供特定 PDF 文件的完整路径来打开该文件。如要打开文件 C:\Sample.pdf,选择加号>“文本”,然后在文本生成器中输入
属性面板
常见
-
“出错时继续” - 指定在活动引发错误时是否应继续自动化操作。 此字段仅支持
Boolean
值(True、 False)。 默认值为 False。 因此,如果该字段为空且活动引发错误,系统将停止执行项目。 如果该值设置为 True,则无论出现何种错误,系统都将继续执行项目。 -
显示名称- 设计器面板中活动的显示名称指定目标时,系统会自动生成显示名称。
重要提示:“使用应用程序/浏览器”活动的显示名称也用作指向目标应用程序或浏览器的引用。 指定目标后,除非手动设置,否则显示名称将自动更改为以下格式:
- 应用程序:
Use Application: [title] - [app name]
- 对于浏览器:
Use Browser [browser type] : [title]
对于嵌套的应用程序卡,卡内的每个活动都会在其正文中显示一个下拉菜单,您可以在其中选择要使用的应用程序卡。
- 应用程序:
-
“超时”- 指定最长等待时间(以秒为单位),如果超出该时间后活动并未执行,系统便会抛出错误。 默认值为 30 秒。
注意: 在远程桌面环境中指定窗口时,超时默认设置设置为 60 秒。
输入
-
统一目标应用程序 - 展开此类别以配置以下设置:
- 参数 - 如果应用程序不是网页浏览器,则可以指定要在启动时传递给目标应用程序的参数。 您可以使用此属性通过应用程序打开特定文件。 例如,如果目标应用程序是 Acrobat Reader,则可以通过提供文件的完整路径来打开特定工作簿。 要打开文件 C:\Sample.pdf, 输入
"C:\Sample.pdf"
。 系统会自动识别某些应用程序类型并自动填充“参数”属性,例如 Java 应用程序、Office 套件应用程序、Adobe Acrobat 或 Windows 文件资源管理器。 -
“文件路径 ” - 如果应用程序不是网页浏览器,请指定要打开的可执行文件的完整路径。 如果指定了文件路径,则清除 URL 属性。
注意:当“文件路径”字段中定义的路径为动态路径时,如果目标应用程序尚未打开,则在子活动中选择“在屏幕上指明目标”会生成错误。 - “选取器 ” - 一个 XML 片段,用于存储用户界面元素的属性。
- URL - 如果应用程序是网页浏览器,请指定要打开的网页的 URL。 如果指定了 URL,则清除“ 文件路径 ”属性。
- 参数 - 如果应用程序不是网页浏览器,则可以指定要在启动时传递给目标应用程序的参数。 您可以使用此属性通过应用程序打开特定文件。 例如,如果目标应用程序是 Acrobat Reader,则可以通过提供文件的完整路径来打开特定工作簿。 要打开文件 C:\Sample.pdf, 输入
输入/输出元素
- 输入元素 - 要用于此应用程序的目标元素,存储在
UIElement
对象中。 可以从另一个用户界面自动化活动的“ 输出元素 ”属性中检索此对象。 您可以使用此属性字段将上一个活动中的目标元素传递给此活动,而无需再次指定。 此字段仅支持UIElement
变量。 - “输出元素 ” - 将此活动中指定的目标元素输出到
UIElement
变量,然后可以在其他活动中重用该变量。 此字段仅支持UIElement
变量。
其他
- “私有” - 如果选中,则不再以“Verbose”级别记录变量和参数的值。 此字段仅支持
Boolean
(True和 False) 值。 默认值为 False。
选项
- “关闭” - 选择在自动化执行此活动中添加的所有活动后关闭目标应用程序的时间:
- 从不 - 从不关闭应用程序。
- 如果由应用程序/浏览器打开 - 仅在由自动化打开应用程序时关闭。这是默认值。
- “始终” - 每次都关闭应用程序。
-
输入模式 - 选择机器人与目标应用程序交互时应使用的方法:
-
“硬件事件 ” - 使用硬件驱动程序执行操作。 这是最慢的方法,无法在后台运行,但与所有桌面应用程序兼容。
-
模拟 - 使用辅助功能 API 进行模拟。 推荐用于浏览器、基于 Java 的应用程序、SAP。 通常比 硬件事件更可靠。 在单个 Actions中发送所有文本。 即使目标应用程序不在焦点中,也适用。 请测试您的目标应用程序用户界面元素是否支持此功能。
-
Chromium API - 使用调试器 API 执行操作。仅适用于 Chromium 元素。一次性发送所有文本。即使目标应用程序不在焦点中,也适用。有关更多详细信息,请查看此页面。
-
窗口消息 - 使用 Win32 消息进行模拟。 推荐用于桌面应用程序。 通常比 硬件事件更可靠。 在单个 Actions中发送所有文本。 即使目标应用程序不在焦点中,也适用。 请测试您的目标应用程序用户界面元素是否支持此功能。
-
后台 - 在后台运行操作。在可能的情况下,尝试使用 Simulate 或 Chromium API,同时复杂的活动 (图像、原生文本) 照常在前台运行。强烈建议将此方法与“验证执行”功能一起使用。
注意: 不支持对通用 Windows 平台应用程序使用 后台 输入模式,这意味着此类应用程序无法在后台自动化。
-
- “打开 ”- 选择何时打开目标应用程序以执行自动化:
- 从不 - 从不打开应用程序。
- 如果未打开 - 仅在应用程序关闭时打开。这是默认值。仅在填充“文件路径”或“URL”字段时才有效。
- “始终” - 打开应用程序的另一个实例,即使某个实例已打开。 仅在填充了“ 文件路径 ”或“ URL ”字段时有效。
-
“调整窗口大小 ” - 定义是否在初始化时调整应用程序/浏览器的大小。
- 无 – 不可调整应用程序/浏览器大小。
- 最大化 – 初始化时,应用程序/浏览器已最大化
- 还原至设计时大小 – 如有可能,系统会将应用程序/浏览器的大小和位置调整并移动到指定时的位置和大小。
- 最小化 – 初始化时,应用程序/浏览器已最小化。
- “窗口附加模式 ” - 定义内部活动搜索其目标元素的位置。
- “应用程序实例”- 内部活动将在指定的应用程序实例中搜索,包括所有的父窗口和子窗口 (警示、弹出窗口等)。应用程序的其他实例均将排除在外。
- 单个窗口 - 内部活动仅在指定窗口中搜索。
选项 - 浏览器
- 隐身/私密窗口 - 如果选中,则以隐身/私密模式打开新的浏览器会话。 默认情况下,清除此复选框。
-
用户数据文件夹模式 - 要设置的用户数据文件夹模式。该模式用于通过特定用户数据文件夹启动浏览器。
- 自动 - 使用不同于默认文件夹的单独用户数据文件夹自动触发画中画 (PiP) 模式。如果未设置用户数据文件夹路径,则会自动生成一个文件夹。当您在自动化任务期间寻求浏览器隔离,并将数据与主浏览会话分开时,这可能会有所帮助。
- 默认文件夹 - 使用默认浏览器文件夹,无论其在主浏览会话还是 PiP 会话中运行。如果您希望机器人使用现有的用户数据文件夹,并且不需要用于自动化任务的单独或隔离的会话,则此选项非常有用。
- 自定义文件夹 - 使用在用户数据文件夹路径中指定的文件夹。如果未设置用户数据文件夹路径,则系统会使用自动生成的路径。此选项通过为用户数据文件夹设置自定义路径,为您提供更大的灵活性和控制力,以管理不同自动化任务的文件夹。
只有 Chrome、Edge Chromium 和 Firefox 可以设置浏览器用户数据文件夹。
- 用户数据文件夹路径 - 浏览器使用的用户数据文件夹。 如果未设置,则默认为
%LocalAppData%\UiPath\PIP Browser Profiles\BrowserType
。有关“ 用户数据文件夹模式” 和“ 用户数据文件夹路径 ”的更多详细信息,请参见 此处。
-
“WebDriver 模式”- 指示打开新浏览器会话时如何使用 WebDriver。可选择以下选项:
- “已禁用 ” - 禁用 WebDriver。
- 使用GUI - 显示浏览器的 GUI。
- 无头 - 浏览器静默启动,没有 GUI。
有关 WebDriver 的更多详细信息,请参见 此处。
该跨平台项目中的活动名称为“使用浏览器”,仅可用于自动化 Chrome 浏览器窗口和 Java 应用程序。
要自动化 Java 应用程序,您需要将“启用 Java 自动化(预览)”项目设置(“项目设置”>“用户界面自动化”>“通用”)设置为“True”。
- 选择“在屏幕上指明目标”,通过将鼠标移动到应用程序窗口并选择应用程序来标识该应用程序。如果目标是浏览器网页,请先导航到该页面,然后再指定应用程序。
- 指定目标后,通过选择菜单选项按钮并选择以下选项之一来管理目标:
- 在屏幕上指定目标 - 再次指定应用程序。如果描述符是在对象存储库中定义的,则如果您只想为当前活动指定描述符,则必须取消与对象存储库的链接。
- 在对象存储库中显示 - 打开“对象存储库”面板,并选中“描述符”。
- 取消与对象存储库的链接 - 取消描述符与对象存储库的链接。
- 添加到对象存储库 - 将当前用户界面元素添加到库项目中,以便在整个自动化流程中重复使用该元素。
- 在作用域内工作 - 选择呈现要自动化的网页应用程序的浏览器选项卡。如果您指定了 Java 应用程序,则该应用程序将列在浏览器标签页的下拉菜单中。只有一个选项卡可用时,该选项隐藏。
- “生成”- 打开“用户界面自动化 Autopilot 录制器”,您可以在其中生成用户界面自动化工作流序列。您还可以从信息屏幕截图框的右上角选择“使用 Autopilot 生成用户界面自动化活动”图标。有关更多详细信息,请查看用户界面自动化 Autopilot 录制器页面。
- URL - 网页应用程序的 URL。 选择选项卡后,系统会自动填充该值。 您还可以转到“更多选项”菜单,选择“在新选项卡中打开 URL ”。 如果 URL 已打开,您可以将其设为焦点,或在新选项卡中再次打开。
- 需要身份验证?- 启用多重身份验证。有关更多详细信息,请查看“用户界面自动化浏览器连接”页面。
其他选项
计时
-
“超时”- 指定最长等待时间(以秒为单位),如果超出该时间后活动并未执行,系统便会抛出错误。 默认值为 30 秒。
-
“出错时继续” - 指定在活动引发错误时是否应继续自动化操作。 此字段仅支持
Boolean
值(True、 False)。 默认值为 False。 因此,如果该字段为空且活动引发错误,系统将停止执行项目。 如果该值设置为 True,则无论出现何种错误,系统都将继续执行项目。
选项
- “打开 ” - 定义是否在执行目标应用程序中的活动之前打开目标应用程序。
- “始终” - 每次都打开浏览器窗口。
- 如果未打开 - 如果选取器和 URL 均不匹配,则打开新的浏览器窗口。 这是默认值。
- 从不 - 从不打开浏览器窗口。
- “关闭” - 定义是否在执行目标应用程序中的活动之前关闭该应用程序。
- “始终” - 每次都关闭浏览器窗口。
- 如果使用浏览器打开 - 仅在浏览器窗口由 使用浏览器 活动打开时关闭。 这是默认值。
- 从不 - 从不关闭浏览器窗口。
- 输入模式 - 用于生成键盘和鼠标输入的方法。
- Chromium API - 使用调试器 API 执行操作。仅适用于 Chromium 元素。一次性发送所有文本。即使目标应用程序不在焦点中,也适用。
- 模拟 - 使用辅助功能 API 模拟 Actions 。 适用于浏览器。 在单个 Actions中发送所有文本。 在后台工作 (即使目标应用程序不在焦点中)。
- 隐身/隐私窗口 - 如果选中,则以隐身/隐私模式打开新的浏览器会话。 该字段仅支持“布尔值”(“True”、“ False”)。 默认值为 False。
-
用户数据文件夹模式 - 要设置的用户数据文件夹模式。该模式用于通过特定用户数据文件夹启动浏览器。
- 自动 - 使用不同于默认文件夹的单独用户数据文件夹自动触发画中画 (PiP) 模式。如果未设置用户数据文件夹路径,则会自动生成一个文件夹。当您在自动化任务期间寻求浏览器隔离,并将数据与主浏览会话分开时,这可能会有所帮助。
- 默认文件夹 - 使用默认浏览器文件夹,无论其在主浏览会话还是 PiP 会话中运行。如果您希望机器人使用现有的用户数据文件夹,并且不需要用于自动化任务的单独或隔离的会话,则此选项非常有用。
- 自定义文件夹 - 使用在用户数据文件夹路径中指定的文件夹。如果未设置用户数据文件夹路径,则系统会使用自动生成的路径。此选项通过为用户数据文件夹设置自定义路径,为您提供更大的灵活性和控制力,以管理不同自动化任务的文件夹。
只有 Chrome、Edge Chromium 和 Firefox 可以设置浏览器用户数据文件夹。
- 用户数据文件夹路径 - 浏览器使用的用户数据文件夹。 如果未设置,则默认为
%LocalAppData%\UiPath\PIP Browser Profiles\BrowserType
。
目标
- 精确匹配标题 - 仅适用于桌面应用程序。当设置为“开启”时,仅可在自动化中使用与当前标题完全匹配的应用程序。当设置为“关闭”时,系统会在自动化中使用标题匹配度最高的窗口。默认值为“关闭”。
- 选取器 - 用于查找特定浏览器窗口的属性列表。
- 参数- 启动时传递给目标应用程序的参数。
输入/输出
- 输入元素 - 用于执行活动的用户界面元素,存储在
UIElement
对象中。 此字段仅支持UIElement
对象。 可以从其他用户界面自动化活动的 输出元素 属性字段获取此对象。 - 输出元素 - 输出目标用户界面元素并将其存储在
UIElement
对象中,该对象可进一步用于通过其他活动定位同一元素。