简介

AI Computer Vision 是一种基于机器学习的方法，用于以视觉方式识别计算机屏幕上的所有用户界面元素，并通过 UiPath 机器人与用户界面元素进行交互，从而模拟人机交互。 它不需要或不使用应用程序的基础属性，而只需要各种屏幕元素的方面和关系。

AI Computer Vision 不依赖选取器，而是使用 AI（对象检测、OCR、模糊文本匹配、图标图像匹配）和锚点系统将所有这些结合在一起。 更确切地说，为了在屏幕上直观地定位元素，AI 计算机视觉会（在机器学习服务器上）执行元素检测和文本 (OCR) 检测，并将这两者结合起来，形成对用户界面的全面理解。 然后，将使用这两种方法检测到的元素之间的关系编码到多锚点描述符中，该描述符唯一标识目标元素。

AI Computer Vision 由一组活动（属于用户界面自动化活动包的一部分）以及一个托管 AI 模型的服务器（可以是云服务器、本地部署服务器或本地服务器）组成，该服务器是对正在自动化的用户界面执行实际分析时所需。默认情况下，系统使用我们的 UiPath 云服务器，我们也建议将该服务器用于所有 Computer Vision 和用户界面自动化活动。无论您的部署类型如何，都可以使用 Computer Vision 云。例如，无论您使用的是 Orchestrator On-Premises 还是 Orchestrator Cloud，您都可以运行 Computer Vision 云，而无需特殊配置。

或者，您可以托管和管理自己的内部部署 AI Computer Vision 服务器，并将其用于运行 AI Computer Vision 活动。 使用这种类型的服务器时，您需要拥有自己的硬件基础架构 (GPU) 或云环境。 此外，您需要在本地部署、更新和维护自己的环境。 与 UiPath 云服务器相比，升级 AI 模型时可能还会遇到向后兼容性问题。 有关如何避免此类问题的更多详细信息，请转到模型更新恢复能力。

本地服务器是您可以选择的另一种风格。 它在本地 CPU 上运行，是可移植性最好的版本。 但是，它速度较慢，并且检测准确性稍低。

收益

以下是 AI Computer Vision 的一些功能，您可以从中受益：

• 选取器以外的自动化- 使机器人能够识别更多屏幕字段和组件并与之交互，甚至是 Flash、Silverlight、PDF 和图像。
• 在 VDI 和桌面上可靠- 解决了与容易失败的映像自动化技术以及桌面上基于选取器的定位相关的问题。 首先在 Citrix、VWware 或 Microsoft 的远程桌面中创建自动化。
• 广泛的界面类型- 包括用于桌面和网页应用程序的 VDI 环境（Citrix、VMWare、Microsoft RDP、VNC 等）。 让系统为您识别用户界面元素并将其添加到对象存储库中，从而节省您的时间。
• 智能、直观的功能- 通过屏幕向导提供有关屏幕选择的详细信息、验证和通知。 使用录制器轻松生成基于视觉的完整自动化。
• 运行时自动滚动支持- 使用 Computer Vision 活动轻松自动化网页或应用程序中的可滚动内容。
• 跨平台功能- 通过远程桌面在 Windows、Linux、Android 和其他操作系统上实现自动化。
• VDI 和非 VDI 之间的自动化 - 通过减少必要的修改来简化 VDI 到桌面的自动化。
• 多个部署选项- 通过 SaaS 进行部署；适用于 Linux 和 Windows 的内部部署版本，或直接从桌面使用。
• 动态用户界面元素- 启用包含表格、下拉列表和复选框元素的自动化。 这提高了自动化的弹性，使其能够适应用户界面的微小变化并与这些动态元素进行交互。
• 在用户界面自动化中作为统一目标的一部分提供- 当您同时需要选取器和计算机视觉描述符时，可降低构建基于用户界面的自动化的复杂性。

部署选项

在下表中，您可以找到我们当前的计算机视觉部署选项的并排比较。

	UiPath 云服务器	内部部署服务器	本地服务器	注释
模型回归测试				每个新模型仍会检测其上一次迭代正在检测的所有设计时数据，以便正在运行的自动化不会中断。
模拟设计时数据存储				该模型会学习用户界面元素的形状和颜色，因此建议使用不含敏感信息的模拟数据。
运行时数据存储				从不使用或存储运行时生产数据（可能包含敏感信息）0，它仅用作 AI 模型的输入。
简单易用的服务器				不适用
速度	高 (GPU)	高 (GPU)	略低 (CPU)	本地服务器是云模型的压缩版本（较少的神经元），可能非常适合具有更通用的用户界面元素的轻型场景。
视觉准确度	高	高	略低	本地服务器是云模型的压缩版本（较少的神经元），可能非常适合具有更通用的用户界面元素的轻型场景。
拥有企业版许可证，免费				不适用
用法	社区：30 MP/分钟 企业版：240 MP/分钟	无限制	无限制	UiPath 云服务器使用限制旨在允许非常大的净空。 即使在最频繁的使用场景中，也很难达到此限制。