activities
latest
false
- 概述
- 用户界面自动化
- 通过用户界面自动化实现自动化的应用程序和技术
- 项目兼容性
- UI-ANA-016 - 拉取打开浏览器 URL
- UI-ANA-017 - 出错时继续 True
- UI-ANA-018 - 列出 OCR/图像活动
- UI-DBP-006 - 容器使用情况
- UI-DBP-013 - Excel 自动化误用
- UI-DBP-030 - 选取器中的禁止变量使用情况
- UI-DBP-031 - 活动验证
- UI-PRR-001 - 模拟单击
- UI-PRR-002 - 模拟键入
- UI-PRR-003 - 打开应用程序误用
- UI-PRR-004 - 硬编码延迟
- UI-REL-001 - 选取器中的大 IDX
- UI-SEC-004 - 选取器电子邮件数据
- UI-SEC-010 - 应用程序/Url 限制
- UI-USG-011 - 不允许的属性
- UX-SEC-010 - 应用程序/Url 限制
- UX-DBP-029 - 使用不安全的密码
- UI-PST-001 - 项目设置中的审核日志级别
- UiPath 浏览器迁移工具
- 剪切区域
- 计算机视觉录制器
- 活动索引
- 激活
- 锚点基准
- 附加浏览器
- 附加窗口
- 阻止用户输入
- 标注
- 选中
- 单击
- 单击图像
- 单击图像触发器
- 单击 OCR 文本
- 单击文本
- 单击触发器
- 关闭应用程序
- 关闭选项卡
- 关闭窗口
- 上下文感知锚点
- 复制选定文本
- 元素属性更改触发器
- 存在元素
- 元素作用域
- 元素状态更改触发器
- 导出用户界面树
- 提取结构化数据
- 查找子元素
- 查找元素
- 查找图像
- 查找图像匹配项
- 查找 OCR 文本位置
- 查找相对元素
- 查找文本位置
- 获取活动窗口
- 获取上级
- 获取属性
- 获取事件信息
- 从剪贴板获取
- 获取全文
- 获取 OCR 文本
- 获取密码
- 获取位置
- 获取源元素
- 获取文本
- 获取可见文本
- 返回
- 前往
- 转至主页
- Google Cloud Vision OCR
- 隐藏窗口
- 高亮显示
- 热键触发器
- 悬停
- 悬停在图像上方
- 悬停在 OCR 文本上方
- 悬停文本
- 存在图像
- 在屏幕上指定
- 注入 .NET 代码
- 插入 Js 脚本
- 调用 ActiveX 方法
- 按键触发器
- 加载图像
- 最大化窗口
- Microsoft Azure 计算机视觉 OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- 最小化窗口
- 监控事件
- 鼠标触发器
- 移动窗口
- 导航至
- 存在 OCR 文本
- 在元素出现时
- 在元素消失时
- 在图像出现时
- 在图像消失时
- 打开应用程序
- 打开浏览器
- 刷新浏览器
- 重播用户事件
- 还原窗口
- 保存图像
- 选择项目
- 选择多个项目
- 发送热键
- 设置剪切区域
- 设置焦点
- 设置文本
- 设置为剪贴板
- 设置网页属性
- 显示窗口
- 启动进程
- 系统触发器
- 截取屏幕截图
- Tesseract OCR
- 存在文本
- 工具提示
- 键入
- 输入安全文本
- 使用前台
- 等待属性
- 等待元素消失
- 等待图像消失
- Computer Vision Local Server
- 移动自动化
- 终端
重要 :
请注意,此内容已使用机器翻译进行了部分本地化。
新发布内容的本地化可能需要 1-2 周的时间才能完成。

用户界面自动化活动
上次更新日期 2025年9月9日
适用于企业级图像颜色检测和分析功能的全面 API 参考。
属性 | 返回类型 | 描述 |
---|---|---|
图像 Base64 | 字符串 | 源图像数据的 Base64 编码字符串表示,可跨不同系统和平台高效存储和传输图像内容。 |
像素 | 像素图像数据[] | 整个图像的像素颜色信息完整数组,提供对单个像素数据的全面访问权限以进行详细的颜色分析。 |
Width | int | 图像的水平尺寸 (以像素为单位),用于定义用于坐标计算和边界验证的图像宽度。 |
Height | int | 以像素为单位的图像垂直尺寸,用于定义用于坐标计算和边界验证的图像高度。 |
偏移点 | 点? | 用于目标像素分析的可选坐标点,允许从图像中的特定感兴趣区域提取重点颜色。 |
中心颜色 | 像素图像数据? | 位于图像几何中心的像素颜色数据,可用于分析主要焦点或中心主题。 |
偏移点颜色 | 像素图像数据? | 用户定义的偏移坐标处的像素颜色数据,从而在指定 OffsetPoint 时在自定义位置提供精确的颜色样本。 |
主色 | 颜色 | 通过统计频率分析和欧几里得距离比较计算得出的所有图像像素中最常出现的颜色,用于识别原色主题。 |
用户界面核心主色 | NUI 核心颜色 | 图像中最常见的用户界面核心颜色分类,通过计算每个像素与目标用户界面核心颜色之间的欧几里得距离来确定,然后选择最常用的颜色。 |
已知主色 | KnownColor | 图像中最常见的标准化系统颜色,使用欧几里得距离计算映射到预定义的颜色常量,以实现一致的跨平台识别。 |
方法 | 返回类型 | 描述 |
---|---|---|
获取像素图像数据 (x, y) | 像素图像数据? | 检索指定坐标处的像素颜色信息。对于无效的坐标或空的图像数据,返回 null。自动执行边界验证。 |
获取主导颜色 () | 颜色 | 分析所有图像像素并返回出现次数最多的颜色。结合使用统计频率分析与欧几里得距离计算,以确定颜色优势。为空图像返回“Color.Empty”。 |
GetUICoreDominant() | NUI 核心颜色 | 使用每个像素与目标用户界面核心颜色之间的欧几里得距离计算进行像素分类,然后对匹配项进行频率计数,从而识别图像中最常见的用户界面核心颜色。对于空图像,返回 NUICoreColor.None。 |
获取用户界面核心颜色 () | 枚举值<UICoreColorFrequency> | 使用欧几里得距离匹配,生成在图像中检测到的所有用户界面核心颜色的按频率排序的全面列表,从而实现详细的颜色分布分析。 |
获取用户界面核心颜色(颜色筛选器) | 枚举值<UICoreColorFrequency> | 返回根据指定条件筛选的用户界面核心颜色,并按频率排序。应用自定义筛选逻辑,同时保持基于欧几里得距离的统计准确性。 |
获取已知的主导颜色 () | KnownColor | 使用欧几里得距离计算系统进行系统的颜色匹配,确定图像中最常见的标准化已知颜色。对于空图像,返回 NamedColor.Transparent。 |
属性 | 返回类型 | 描述 |
---|---|---|
X | int | 像素在图像坐标系统内的水平坐标位置,从左边缘开始进行零索引。 |
Y | int | 像素在图像坐标系统内的垂直坐标位置,从上边缘开始进行零索引。 |
值 | int | 打包 24 位 RGB 颜色值,存储为整数,其中红色占用位 16-23,绿色占用位 8-15,蓝色占用位 0-7。 |
R | byte | 红色组件强度,范围从 0(无红色)到 255(最大红色饱和度)。 |
G | byte | 绿色组件强度,范围从 0(无绿色)到 255(最大绿色饱和度)。 |
B | byte | 蓝色组件强度,范围从 0(无蓝色)到 255(蓝色饱和度最高)。 |
原始颜色 | 颜色 | 精确的 System.Drawing.Color 表示具有精确的 RGB 值,保持全色保真度而无需近似值。 |
颜色 | 颜色 | 使用欧几里得距离计算匹配像素的 RGB 值的、名为 System.Drawing.Color 的最接近值,提供人类可读的颜色标识。 |
核心颜色 | NUI 核心颜色 | 像素的最佳用户界面核心颜色分类,通过 RGB 颜色空间中的欧几里得距离计算来确定,用于最佳用户界面配色方案分析。 |
KnownColor | KnownColor | 使用欧几里得距离比较从 System.Drawing.KnownColor 枚举中得出的最接近等价物,确保跨应用程序的颜色命名标准化。 |
方法 | 返回类型 | 描述 |
---|---|---|
获取颜色 () | 颜色 | 将像素数据转换为精确的 System.Drawing.Color 表示形式,而无需近似值,并保留原始颜色精度和 RGB 值。 |
获取最接近的颜色 () | 颜色 | 在 RGB 颜色空间中使用欧几里得距离计算,从 System.Drawing.Color 集合中识别最接近命名的颜色。 |
获取用户界面核心颜色 () | NUI 核心颜色 | 在 RGB 颜色空间中使用优化的欧几里得距离算法将像素颜色映射到最合适的用户界面核心颜色分类,以进行界面分析。 |
获取已知颜色 () | KnownColor | 通过 RGB 颜色空间中的全面欧几里得距离比较,将像素颜色与最接近的 System.Drawing.KnownColor 枚举值匹配,不包括系统相关的颜色。 |
属性 | 返回类型 | 描述 |
---|---|---|
颜色 | NUI 核心颜色 | 在图像中检测和分析的特定用户界面核心颜色,表示其中一种预定义的界面颜色分类。 |
计数 | int | 频率计数指示通过欧几里得距离计算图像中有多少像素与此特定用户界面核心颜色匹配,从而为颜色分布分析提供统计数据。 |
以下示例演示了不同状态下常见用户界面元素的主色分析:
图标状态分析
图标类型 | 可视化示例 | 状态 | 维度 | 主色 | 用户界面核心主色 | 用例 |
---|---|---|---|---|---|---|
错误图标 | 错误/失败 | 32x32 | e74c3c | 红色 | 验证错误、操作失败、严重警示 | |
警告图标 | 警告/警示 | 32x32 | #f1c40f | 黄色 | 重要通知、需要注意、注意 | |
成功图标 | 成功/完成 | 32x32 | #27ae60 | 绿色 | 已完成的任务,验证成功,确认 | |
已验证的图标 | 已验证/已信任 | 32x32 | #9b59b6 | 品红色 | 已验证的帐户,可信来源,高级状态 | |
信息图标 | 信息 | 32x32 | #3498db | 蓝色 | 信息消息、帮助文本、指南 |
颜色分析见解
- 语义颜色一致性:错误状态一致分析为用户界面核心色红色,成功状态一致分析为绿色,警告状态一致分析为橙色/黄色。
- 品牌与标准颜色:自定义品牌颜色(如 #27ae60)通过欧几里得距离计算映射到标准用户界面核心颜色(绿色)。
- 视觉层次结构:不同的用户界面元素使用颜色强度和样式,同时在语义颜色分类方面保持一致。
- 无障碍功能合规性:颜色分析有助于验证不同用户界面状态下足够的对比度和语义。
- 自动化测试:主色检测可实现自动验证用户界面状态更改和可视反馈。