はじめに

AI Computer Vision の概要と、Automation Suite での UI 要素の識別に対するマシン ラーニング アプローチ。

AI Computer Vision はマシン ラーニングに基づいたメソッドです。コンピューター画面上のすべての UI 要素を視覚的に識別し、UiPath Robot を介してこれらの UI 要素を操作することで、人間の操作を模倣します。アプリケーションの基になるプロパティは必要なく、使用されることもありません。必要なのは、さまざまな画面要素の特徴と関係のみです。

Rather than relying on selectors, AI Computer Vision uses AI (Object Detection, OCR, fuzzy text-matching, image-matching for icons) and an anchoring system to tie it all together.

To visually locate elements on the screen, AI Computer Vision performs an element detection (on the machine-learning server) and a text (OCR) detection, and combines these two into a full understanding of the UI. The relationship between elements detected with these two methods is then encoded into a multi-anchor descriptor, which uniquely identifies the targeted element.

AI Computer Vision has two parts:

• A set of activities, which are part of the UI Automation activity package.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

The following table describes the three server types and what to consider for each one.

サーバーの種類	動作のしくみ	What to consider
Cloud (default and recommended)	The UiPath cloud server is used by default for all AI Computer Vision and UI Automation activities.	You can use AI Computer Vision cloud regardless of your deployment type. Whether Orchestrator is on-premises or in the cloud, Computer Vision cloud runs with no special configuration required.
オンプレミス	You host and manage your own AI Computer Vision server, and use it to run the AI Computer Vision activities.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model — see Model update resilience to avoid them
ローカル	The local server runs on local CPU and is the most portable version.	It is slower and has a slightly lower detection accuracy.

主なメリット

以下に、AI Computer Vision の便利な機能をいくつか示します。

• セレクターを超えた自動化 - ロボットが、より多くの画面上のフィールドやコンポーネント (Flash、Silverlight、PDF、画像を含む) を認識して操作できるようにします。
• VDI とデスクトップでの信頼性 - 失敗しやすい画像自動化技術やデスクトップ上のセレクターベースのターゲット設定に伴う問題を軽減します。Citrix、VMware、または Microsoft のリモート デスクトップ内でオートメーションを作成します。
• 幅広い種類のインターフェイス - デスクトップと Web アプリケーション用の VDI 環境 (Citrix、VMWare、Microsoft RDP、VNC など) が含まれます。UI 要素が自動的に識別されオブジェクト リポジトリに追加されるため、作業時間を短縮できます。
• インテリジェントで直感的な機能 - 画面上のウィザードで、画面上の選択に関する詳細、検証、および通知を表示します。レコーダーを使用して、視覚ベースの完全なオートメーションを簡単に生成できます。
• 実行時の自動スクロールのサポート - AI Computer Vision アクティビティを使用して、Web ページやアプリのスクロール可能なコンテンツの操作を簡単に自動化できます。
• クロスプラットフォーム機能 - リモート デスクトップを介して、Windows、Linux、Android およびその他のオペレーティング システムの操作を自動化します。
• VDI と非 VDI 間のオートメーション - 必要な変更作業を減らし、VDI からデスクトップへの自動化を簡略化します。
• 複数のデプロイ オプション - SaaS を介してデプロイしたり、オンプレミスの Linux や Windows、またはお使いのデスクトップから利用したりできます。
• 動的な UI 要素 - 表、ドロップダウン リスト、チェックボックスの要素を含むオートメーションの作成を可能にします。これにより、オートメーションの回復性が向上し、UI の小さな変更に対応してこれらの動的な要素を操作できます。
• 統合ターゲットの一部として UI Automation で利用可能 - セレクターと AI Computer Vision の記述子の両方が必要な場合に、UI ベースのオートメーションを構築しやすくします。

デプロイ オプション

AI Computer Vision の既存のデプロイ オプションの並列比較については、『概要ガイド』の「 AI Computer Vision の違い 」セクションをご覧ください。