简介

概述 AI Computer Vision 及其在独立部署中识别用户界面元素的机器学习方法。

AI Computer Vision 是一种基于机器学习的方法，用于以视觉方式识别计算机屏幕上的所有用户界面元素，并通过 UiPath 机器人与用户界面元素进行交互，从而模拟人机交互。 它不需要或不使用应用程序的基础属性，而只需要各种屏幕元素的方面和关系。

AI Computer Vision 不依赖于选取器，而是使用 AI（对象检测、OCR、模糊文本匹配、图标的图像匹配）和锚点系统将它们结合在一起。

为了在屏幕上直观地定位元素，AI Computer Vision 会执行元素检测（在机器学习服务器上）和文本 (OCR) 检测，并将这两者结合起来，以全面了解用户界面。然后，将使用这两种方法检测到的元素之间的关系编码到多锚点描述符中，该描述符可唯一标识目标元素。

AI Computer Vision 分为两个部分：

• 一组活动，属于“用户界面自动化活动包”的一部分。
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

下表介绍了三种服务器类型以及每种服务器类型的注意事项。

服务器类型	工作方式	注意事项
Cloud（默认，推荐）	默认情况下，UiPath 云服务器用于所有 AI Computer Vision 和 UIAutomation 活动。	无论您的部署类型如何，都可以使用 AI Computer Vision 云。无论 Orchestrator 是在本地部署还是在云中，Computer Vision 云都无需特殊配置即可运行。
内部部署	您托管和管理自己的 AI Computer Vision 服务器，并使用它来运行 AI Computer Vision 活动。	您需要在本地部署、更新和维护自己的硬件基础架构 (GPU) 或云环境。与 UiPath 云服务器相比，升级 AI 模型时，您可能还会遇到向后兼容性问题 — 请参阅模型更新弹性以避免这些问题
本地	本地服务器在本地 CPU 上运行，是可移植性最佳的版本。	该方法速度较慢，并且检测准确性稍低。

收益

以下是 AI Computer Vision 的一些功能，您可以从中受益：

• 选取器以外的自动化- 使机器人能够识别更多屏幕上的字段和组件（甚至 Flash、Silverlight、PDF 和图像）并与之交互。
• 可靠地运行在 VDI 和桌面上- 解决了与容易失败的映像自动化技术以及桌面上基于选取器的定位相关的问题。首先在 Citrix、VMware 或 Microsoft 的 Remote Desktop 中创建自动化。
• 广泛的接口类型- 包括用于桌面和网页应用程序的 VDI 环境（Citrix、VMWare、Microsoft RDP、VNC 等）。系统会为您识别用户界面元素并将其添加到对象存储库，以节省时间。
• 智能、直观的功能- 通过屏幕向导提供有关屏幕选择的详细信息、验证和通知。使用录制器轻松生成基于视觉的完整自动化。
• 支持运行时自动滚动- 使用 AI Computer Vision 活动轻松自动化网页或应用程序中的可滚动内容。
• 跨平台功能- 通过远程桌面在 Windows、Linux、Android 和其他操作系统上实现自动化。
• VDI 和非 VDI 之间的自动化- 通过减少必要的修改，简化 VDI 到桌面的自动化。
• 多个部署选项- 通过 SaaS 部署；对于 Linux 和 Windows，可以在本地使用，也可以直接从桌面使用。
• 动态用户界面元素- 启用包含表格、下拉列表和复选框元素的自动化。这提高了自动化的弹性，使其能够适应用户界面的微小更改并与这些动态元素交互。
• 在用户界面自动化中提供，作为“统一目标”的一部分- 同时需要选取器和 AI Computer Vision 描述符时，降低构建基于用户界面的自动化的复杂性。

部署选项

有关我们现有 AI Computer Vision 部署选项的并行比较，请查看概述指南中的“AI Computer Vision 差异”部分。