概述 AI Computer Vision 及其在 Automation Cloud 中识别用户界面元素的机器学习方法。
AI Computer Vision 是一种基于机器学习的方法，用于以视觉方式识别计算机屏幕上的所有用户界面元素，并通过 UiPath 机器人与用户界面元素进行交互，从而模拟人机交互。 它不需要或不使用应用程序的基础属性，而只需要各种屏幕元素的方面和关系。
Rather than relying on selectors, AI Computer Vision uses AI (Object Detection, OCR, fuzzy text-matching, image-matching for icons) and an anchoring system to tie it all together.
To visually locate elements on the screen, AI Computer Vision performs an element detection (on the machine-learning server) and a text (OCR) detection, and combines these two into a full understanding of the UI. The relationship between elements detected with these two methods is then encoded into a multi-anchor descriptor, which uniquely identifies the targeted element.
AI Computer Vision has two parts:
- A set of activities, which are part of the UI Automation activity package.
- A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.
The following table describes the three server types and what to consider for each one.
| 服务器类型 | 工作方式 | What to consider |
|---|---|---|
| Cloud (default and recommended) | The UiPath cloud server is used by default for all AI Computer Vision and UI Automation activities. | You can use AI Computer Vision cloud regardless of your deployment type. Whether Orchestrator is on-premises or in the cloud, Computer Vision cloud runs with no special configuration required. |
| 内部部署 | You host and manage your own AI Computer Vision server, and use it to run the AI Computer Vision activities. | You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model. |
| 本地 | The local server runs on local CPU and is the most portable version. | It is slower and has a slightly lower detection accuracy. |
收益
以下是 AI Computer Vision 的一些功能，您可以从中受益：
- 选取器以外的自动化- 使机器人能够识别更多屏幕上的字段和组件（甚至 Flash、Silverlight、PDF 和图像）并与之交互。
- 可靠地运行在 VDI 和桌面上- 解决了与容易失败的映像自动化技术以及桌面上基于选取器的定位相关的问题。首先在 Citrix、VMware 或 Microsoft 的 Remote Desktop 中创建自动化。
- 广泛的接口类型- 包括用于桌面和网页应用程序的 VDI 环境（Citrix、VMWare、Microsoft RDP、VNC 等）。系统会为您识别用户界面元素并将其添加到对象存储库，以节省时间。
- 智能、直观的功能- 通过屏幕向导提供有关屏幕选择的详细信息、验证和通知。使用录制器轻松生成基于视觉的完整自动化。
- 支持运行时自动滚动- 使用 AI Computer Vision 活动轻松自动化网页或应用程序中的可滚动内容。
- 跨平台功能- 通过远程桌面在 Windows、Linux、Android 和其他操作系统上实现自动化。
- VDI 和非 VDI 之间的自动化- 通过减少必要的修改，简化 VDI 到桌面的自动化。
- 多个部署选项- 通过 SaaS 部署；对于 Linux 和 Windows，可以在本地使用，也可以直接从桌面使用。
- 动态用户界面元素- 启用包含表格、下拉列表和复选框元素的自动化。这提高了自动化的弹性，使其能够适应用户界面的微小更改并与这些动态元素交互。
- 在用户界面自动化中提供，作为“统一目标”的一部分- 同时需要选取器和 AI Computer Vision 描述符时，降低构建基于用户界面的自动化的复杂性。
部署选项
有关我们现有 AI Computer Vision 部署选项的并行比较，请查看概述指南中的“AI Computer Vision 差异”部分。