- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- ST-DBP-021 - 硬编码超时
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- SY-USG-013 - 私有文件调用
- SY-USG-014 - 执行模板占位符不正确
- UiPath 浏览器迁移工具
- 计算机视觉录制器
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 调用事务
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击屏幕上的图片
- 单击文本
- 单击工具栏按钮
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 展开 ALV 层次结构表格
- 展开 ALV 树
- 展开树
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 注入 JS 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 读取状态栏
- 刷新浏览器
- 重播用户事件
- 还原窗口
- SAP 登录
- SAP 登录
- SAP 会话属性更改触发器
- 保存图像
- 在日历中选择日期
- 选择项目
- 选择菜单项
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 表格单元范围
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
计算机视觉活动
本节包含 UiPath.UIAutomation.Activities 包中与计算机视觉相关的活动。
Computer Vision 活动包含重构的基本用户界面自动化活动,例如 单击、 输入或 获取文本。 “ Computer Vision 活动与其传统活动之间的主要区别在于它们使用由我们的机器学习部门内部开发的“ Computer Vision 神经网络。 神经网络能够在不使用选取器的情况下识别用户界面元素,例如按钮、文本输入字段或复选框。
这些活动主要是为虚拟桌面环境(例如 Citrix 计算机)中的自动化而创建,绕过了不存在或不可靠的选取器的问题,因为它们会将要自动化的窗口的图像发送到神经网络,该窗口在神经网络中经受分析,并且所有用户界面元素在其中根据实际情况进行识别和标记。智能锚点用于精确定位您正在与之交互的用户界面元素的确切位置,确保您打算执行的操作成功。
所有计算机视觉活动仅在 CV 屏幕作用域 活动中起作用,该活动建立与神经网络服务器的实际连接,从而使您能够分析要自动化的应用程序的用户界面。
使用“计算机视觉”活动的任何工作流都必须首先将“ CV 屏幕作用域 ”活动拖动到设计器面板。
完成此操作后,可以使用作用域活动主体中的“ 在屏幕上指明” 按钮选择要使用的屏幕区域。
正确配置 CV 屏幕范围 活动后,您可以开始使用包中的所有其他活动来构建自动化。
The activities that perform actions on UI elements can be configured at design time by using the Indicate on screen button found in the activity card. The activities that have this feature are:
Clicking the Indicate on screen (hotkey: I) button opens the helper wizard.
具有“指明”向导的活动还包括“相对于”功能,其中目标是一个稳定的元素,并且您可以相对于它拖动一个距离。主目标(稳定目标)充当第二个目标(相对目标)的代理目标。
当您想要选择与 Computer Vision 引擎已识别的用户界面元素不对应的区域时,或者当您想要在用户界面中选择常规区域而不指定特定用户界面元素时,这非常有用。
相对目标可以是要自动化的应用程序中的单点或区域选择。
单点选择通常放置在 Computer Vision 检测不准确并且可能找不到某些元素的位置。使用单点选择的活动包括“CV 单击”、“CV 悬停”和“CV 键入”。
区域选择由“CV 获取文本”使用,并为此活动自动激活。
一般来说,您添加的任何锚点都必须在运行时找到,这意味着如果至少一个锚点找不到,则无法找到整个选择。因此,锚点必须是稳定的元素,即 Computer Vision 每次都能检测到的元素,并且在运行时不会在用户界面中发生大幅变化。
假设您要单击下图中的“X”按钮。您可以注意到,目标位于“X”按钮上,但单击发生在绿色圆圈内;这是因为您选择了相对于“X”按钮进行单击。因此,除非 Computer Vision 无法检测到某个用户界面元素,否则无需使用“相对于”功能。
要选择“X”按钮而不是与其相关的区域,请确保“X”按钮上有绿色边框。
如果“X”按钮不稳定,您可以相对于稳定的元素单击。