- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-DBP-031 - 活动验证
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 活动索引
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端

用户界面自动化活动
本地 Android 设备
link设置本地 Android 设备
link要设置本地设备以使用移动自动化活动,您需要运行 Appium 的本地实例,并拥有自动化 Android 设备所需的工具。
您可以自动化两种类型的本地 Android 设备:
- 物理 设备 - 可以通过 USB 数据线连接到本地计算机的 Android 物理设备。
- 模拟器 - 用于本地存储的 Android 设备的模拟器。
最常用的 Appium 命令
link下表介绍了在移动设备自动化环境中设置 Appium 时最常用的命令:
appium driver list
- 列出已安装的驱动程序(推荐用于 Appium 2.0)adb devices
- 列出已连接的设备adb start-server
- 开始调试服务器adb kill-server
- 停止调试服务器ctrl + c
- 终止 Appiumappium-doctor
- 有助于调试 Appium。
应用程序存储
linkAPK
或IPA
文件上传到 Appium 服务器可匿名访问的 URL(例如Blob 存储)。
无法从 Play 商店或 App Store 安装应用程序,除非您手动自动化这些应用程序以安装特定应用程序。
配置本地物理 Android 设备
link先决条件
请按照以下步骤完成配置本地物理 Android 设备的先决条件:
- 下载并安装 Java。 您可以 在此处通过 zip 文件下载 Java。
- 下载并安装 Node.js。您可以在 此处下载最新版本的 Node.js。
- 完成 Node.js 的安装后,使用以下命令打开命令提示符并检查是否安装成功:
node-v
- 返回计算机上安装的 Node.js 版本。 返回的版本必须等于或高于 19。npm-v
- 返回计算机上安装的 npm 版本。返回的版本不得低于 8。
- 下载并安装 Android Studio。您可以在此处下载 Android Studio。
- 使用 Android Studio安装Android SDK 工具(已过时) 。
- 在 Windows 中,导航至“高级系统设置”>“高级”>“环境变量”。
- 在“系统变量”下,单击“新建”并配置以下变量:
一个。 JAVA_HOME 变量。 指向安装 Java 的文件夹。
JAVA_HOME
。
C:\Program Files\Java\jdk8
。
湾 ANDROID_HOME 变量。 指向安装 Android SDK 的文件夹。
ANDROID_HOME
变量值:Android SDK 在计算机上的位置。 例如: C:\Users\Username\AppData\Local\Android\Sdk
注意: 变量值 路径中的Username
部分必须替换为在计算机上操作的用户的实际名称。
-
打开 Node.js 命令提示符并安装 Appium:
- 对于 Appium 1.0,运行以下命令:
npm install -g appium
。 Appium 1.0 已安装所有驱动程序。 - 对于 Appium 2.0,运行以下命令:
npm install -g appium@next
。
- 对于 Appium 1.0,运行以下命令:
appium driver install uiautomator2
。
有关 Appium 1.0 配置的更多信息,请参阅 快速入门简介。
- 重新启动计算机以应用更改。
-
打开物理移动设备,然后启用“ 开发者选项”。
- 在手机上,导航至“设置”>“开发者选项”。
- 在“网络”部分下,打开“默认 USB 配置”并将其设置为“仅为手机充电”。
- 启用 USB 调试。
- 在手机上,导航至“设置”>“开发者选项”。
- 在“网络”部分下,打开“默认 USB 配置”并将其设置为“仅为手机充电”。
配置本地物理 Android 设备
- 使用 USB 电缆将物理设备连接到本地计算机。
- 打开命令提示符,并使用以下命令启动调试服务器:
adb.exe start-server
。 - 允许在移动设备上进行 USB 调试 (如果系统要求您允许)。
- 在启动 Appium 会话之前手动添加
the --base-path /wd/hub
参数。 - 使用以下命令启动 Appium 服务器:
appium -p 10001 --relaxed-security --allow-insecure chromedriver_autodownload
。备注:- 如果自动下载失败,您可以指向已下载的 chromedriver.exe,通过连接以下命令:
--chromedriver-executable "path_to_chromedriver"
- 确保 Appium 服务器连接在不受任何干扰的情况下运行。例如,如果您在终端内单击,则通信将被中断,这可能会导致移动设备管理器中出现通信错误。
- 使用“在移动设备管理器中添加本地 Android 设备”过程,在移动设备管理器中添加已配置的本地物理 Android 设备。
配置本地模拟 Android 设备
link先决条件
- 下载并安装 Java。 您可以 在此处通过 zip 文件下载 Java。
- 下载并安装 Node.js。您可以在 此处下载最新版本的 Node.js。
- 完成 Node.js 的安装后,使用以下命令打开命令提示符并检查是否安装成功:
node-v
- 返回计算机上安装的 Node.js 版本。 返回的版本必须等于或高于 19。npm-v
- 返回计算机上安装的 npm 版本。返回的版本不得低于 8。
- 下载并安装 Android Studio。您可以在此处下载 Android Studio。
- 在 Windows 中,导航至“高级系统设置”>“高级”>“环境变量”。
- 在“系统变量”下,单击“新建”并配置以下变量:
一个。 JAVA_HOME 变量。 指向安装 Java 的文件夹。
JAVA_HOME
。
C:\Program Files\Java\jdk8
。
湾 ANDROID_HOME 变量。 指向安装 Android SDK 的文件夹。
- 变量名称:
ANDROID_HOME
-
变量值:Android SDK 在计算机上的路径。例如:
C:\Users\Username\AppData\Local\Android\Sdk
注意: 变量值 路径中的Username
部分必须替换为在计算机上操作的用户的实际名称。- 打开 Node.js 命令提示符并安装 Appium:
- 对于 Appium 1.0,运行以下命令:
npm install -g appium
。 Appium 1.0 已安装所有驱动程序。 - 对于 Appium 2.0,运行以下命令:
npm install -g appium@next
。
appium driver install uiautomator2
。
有关 Appium 2.0 配置的更多信息,请参阅 快速入门简介。
- 重新启动计算机以应用更改。
创建 Android 模拟器
使用 Android Studio 创建您的 Android 模拟器。
- 打开 Android Studio。
- 单击“配置”,然后从下拉列表中选择“SDK 管理器”。
- 取消选中“隐藏已过时的包”,并确保选择了“Android SDK 工具(已过时)”。
- 单击“应用”,然后单击“确定”以关闭。
- 导航至“配置”>“AVD 管理器”以配置虚拟设备。有关详细信息,请参阅“创建和管理虚拟设备”。
- 更新设备的 Google 应用程序。
使用 WebDriver 实现网页自动化和混合自动化
在本地设备上启用 网页视图调试 ,以允许移动设备管理器识别应用程序中的大多数用户界面元素。
如果 Appium 未在您的 Android 上自动检测 Chrome 或 WebView 版本,请选择以下选项之一:
- 使用
--allow-insecure chromedriver_autodownload
命令。 这使 Appium 能够自动检测并下载与您的环境对应的 ChromeDriver 版本。 - 手动指定并下载适用于 Chrome 的 WebDriver:
2.1. 在 Android Studio 中打开您的设备。
2.2.前往“设置”>“应用程序和通知”。
2.3 单击 “查看所有应用程序”。
2.4.单击垂直省略号按钮,然后从下拉列表中选择“显示系统”。
2.5.使用搜索功能查找“Android 系统 WebView”。
2.6.打开应用程序并转到“高级”。
2.7.复制屏幕底部的版本号。
2.8.下载 WebDriver for Chrome 并考虑以下事项:
- 选择与上一步中的 Android 系统 Webview 版本相对应的版本,并将其解压缩到文件夹中。
- 您正在寻找版本的精确匹配项 (major.minor.patch.revision)。
- 如果没有精确匹配项,请使用与 Android 系统 Webview 的主要版本匹配的 ChromeDriver 的最新主要版本。
- 如果您想自动化 Chrome 应用程序,只需执行与上述相同的步骤,并记下 Chrome 版本。
- 使用“在移动设备管理器中添加本地 Android 设备”过程,在移动设备管理器中添加已配置的本地模拟设备。
在移动设备管理器中添加本地 Android 设备
link- 从 Studio 打开 MDM。
- 在左侧导航面板中,转到“设备”。
- 按如下方式配置您的设备:
- 名称 - 在“设备”选项卡中输入用于标识设备的名称。
- Appium URL - 输入本地主机。例如:
http://localhost:10001/wd/hub
。 - 平台 - 单击字段以从下拉列表中选择“Android”。
- 设备名称 - 输入设备名称。一种查看方法是通过 Android Studio 导航到“配置”>“AVD 管理器”,然后转到“更多操作”>“查看详细信息”。
- 平台版本 - 添加 Android 操作系统的版本号。
-
其他所需功能(可选) - 添加特定功能以自定义自动化会话。
重要提示: 要激活先前安装的 Appium 驱动程序,请将以下功能添加到“ 其他所需功能 ”部分:名称
值
appium:automationName
UiAutomator2
有关更多信息,请参阅 Appium 所需功能。
- (可选)- 在“ 位置 ” 选项卡中设置设备位置,以测试使用“定位服务” 生成位置数据的应用程序。
- (可选)在“日志记录”选项卡中配置日志记录和视频录制详细信息。
- (可选)在“开发”选项卡中配置开发流程。
- 关闭类似选项卡(默认情况下激活): 关闭与类似设备和应用程序运行连接的选项卡。
- 等待页面更新(默认激活): 等待页面来源检索每个操作的屏幕截图。
- 单击“保存并关闭”以添加设备。
您的设备已添加到“设备”列表中。要添加本地设备,请参阅。