- 概述
- 用户界面自动化
- 关于“用户界面自动化”活动包
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-DBP-031 - 活动验证
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 活动索引
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
用户界面自动化活动
由于在虚拟环境中很难实现自动化,OCR 和图像自动化通常要同时进行,因此我们创建了一个自动化,它可从扫描的发票中检索员工的电子邮件和发票号。然后,该自动化将信息输入虚拟机上的虚拟费用应用程序 (ExpenseIt),并将发票总额与应用程序中的总额进行比较:
- 新建“序列” 。
- 打开扫描的发票,可从此处下载示例中使用的发票 。出于兼容性原因,我们建议使用 Adobe Acrobat Reader。
- 如相对抓取所述,使用 OCR 技术抓取员工的电子邮件。容器(在本例中,已将 “附加窗口”重命名为“附加 PDF” ),用于保存选取器,并让所有其他活动知道要执行操作的位置。其中包含如下活动:查找图像,可选择相对抓取的锚点;获取 OCR 文本,可检索员工的电子邮件地址;两个设置剪切区域活动:一个活动用于将第一个剪切区域转换为第二个剪切区域另一个开关用于重置剪切区域。
- 在“变量面板”中,创建一个名为
email的新“泛型值”变量。 - 在以前生成的“获取 OCR 文本”活动的“文本”属性中输入电子邮件变量。
- 把上面的序列命名为“阅读电子邮件”。
UiPath Studio 提供的 OCR 引擎各有优点和缺点,使用哪个 OCR 引擎依环境而定,关键在于测试在每种情况下哪个引擎性能更出色。针对不同任务更换 OCR 引擎可使效果更好。
-
如相对抓取中所述,使用 OCR 技术可以抓取发票编号。记录器会生成容器(在本例中, “附加窗口”已重命名为“附加 PDF” )以保存选取器,并让所有其他活动知道要执行操作的位置。容器内含如下活动:“查找图像” ,用于选择相对抓取的锚点; “获取 OCR 文本” ,用于检索员工的发票编号;两个“设置剪切区域”活动:其中一个活动用于将第一个剪切区域转换为第二个剪切区域,另一个活动用于重置剪切区域。
-
在“变量面板”中,创建一个名为
invoiceNo的新“泛型值”变量。 -
在以前生成的“获取 OCR 文本”活动的“文本”属性中输入
invoiceNo变量。 -
把上面的序列命名为“读取发票编号”。
-
如相对抓取所述,使用 OCR 技术抓取员工的总费用。录制器生成一个附加 PDF容器,用于放置选取器,并让所有其他活动知道要执行操作的位置。其中包含如下活动:“查找图像” 活动,可选择相对抓取的锚点; “获取 OCR 文本”活动,可检索员工的总费用;两个“设置剪切区域”活动:一个活动用于将第一个剪切区域转换为第二个剪切区域,第二个活动用于将第一个剪切区域转换为第二个剪切区域一键重置剪切区域。
-
在“变量面板”中,创建一个名为
totalValue的新“泛型值”变量。 -
在以前生成的“获取 OCR 文本”活动的“文本”属性中输入
totalValue变量。 -
把上面的序列命名为“读取总费用”。
备注:在虚拟机环境中打开应用程序时,最佳实践是为要在计算机桌面上打开的应用程序创建一个快捷方式,并为其分配一个热键。尝试使用“单击 OCR 文本”来单击应用程序的图标时,有时可能会由于背景颜色或所选图标的变化而失败。
-
在虚拟机桌面上创建 ExpenseIt 应用程序的快捷方式。
-
右击快捷方式并从上下文菜单中选择“属性”。系统将显示“快捷方式属性”窗口。
-
在“快捷方式”选项卡上的“快捷键”字段中,按下要使用的键(例如 Alt+Ctrl+T),从而为应用程序分配一个热键。
-
打开“Citrix 录制向导”启动一个新录制会话。
-
录制将先前分配给应用程序快捷方式的热键发送给虚拟机窗口的操作。
-
使用“相对抓取”可根据“电子邮件”标签的位置单击“ExpenseIt”应用程序中的“电子邮件”字段。
-
在 ExpenseIt 应用程序的“电子邮件”字段中,输入
email变量。 -
使用“相对抓取”可根据“员工数量”标签的位置单击 ExpenseIt 应用程序中的“员工数量”字段。
-
在 ExpenseIt 应用程序的“员工数量”字段中添加
invoiceNo变量。 -
在“录制向导”中单击“保存并退出”。录制器生成一个“附加窗口”容器,用于放置选取器,并让所有其他活动知道要执行操作的位置。该容器包含“发送热键”活动、“单击图像”活动(单击“电子邮件”标签右侧字段)、“键入”活动(在字段中键入电子邮件变量)、“单击图像”活动(单击“员工编号”标签右侧字段)和“键入”活动(在字段中键入
invoiceNo变量)。 -
打开“Citrix 录制向导”启动一个新录制会话。
-
录制在 ExpenseIt 应用程序中单击“创建费用报告”按钮的操作。
-
使用“相对抓取”来抓取与“总费用($)”标签对应的值。
-
在“录制向导”中单击“保存并退出”。录制器生成一个“附加窗口”容器,用于放置选取器,并让所有其他活动知道要执行操作的位置。它包含“单击 OCR 文本”活动(将单击“创建费用报告”按钮)、“查找图像”活动(设置了相对提取的锚点)、“获取 OCR 文本”活动(检索总费用值)和两个“设置剪切区域”活动(一个活动可将第一个剪切区域转换为第二个剪切区域,另一个活动可重置剪切区域)。
-
在“变量面板”中,创建一个名为
totalExpense的新“泛型值”变量。 -
在以前生成的“获取 OCR 文本”活动的“文本”属性字段中输入
totalExpense变量。 -
将“If 条件”活动拖动到最后生成的录制序列的后面。
-
将“If 条件”活动的“条件”属性设置为
totalExpense = totalValue。这意味着自动化将检查发票的总价值是否等于费用应用程序中的值。 -
将“消息框”活动拖到“If 条件”活动的“Then”部分。
-
在“消息框”的“文本”属性字段中,编写一条消息来声明值相等,因此发票正确。
-
将“消息框”活动拖到“If 条件”活动的 Else 部分。
-
在“消息框”的“文本”属性字段中,编写一条消息来声明值不相等,因此发票有误。
-
按 F5 可运行自动化。请注意,自动化将扫描版发票中的员工数据输入 ExpenseIt 应用程序中,将发票的总值与注册的总费用进行比较,并告知用户这两个值是否相等。
由于这种自动化需要连接到虚拟机,所以没有必要上传原始项目,因为原始项目不能在另一台计算机上工作。我们鼓励您按照上述步骤构建您自己的项目。