はじめに

AI Computer Vision の概要と、Automation Suite での UI 要素の識別に対するマシン ラーニング アプローチ。

AI Computer Vision はマシン ラーニングに基づいたメソッドです。コンピューター画面上のすべての UI 要素を視覚的に識別し、UiPath Robot を介してこれらの UI 要素を操作することで、人間の操作を模倣します。アプリケーションの基になるプロパティは必要なく、使用されることもありません。必要なのは、さまざまな画面要素の特徴と関係のみです。

AI Computer Vision では、セレクターを利用するのではなく、AI (オブジェクト検出、OCR、テキストのあいまい一致、アイコンの画像マッチング) とアンカー システムを使用してすべてを関連付けます。

画面上の要素を視覚的に特定するために、AI Computer Vision は要素検出 (マシン ラーニング サーバー上) とテキスト検出 (OCR) を実行し、これら 2 つを組み合わせて UI を完全に理解します。これら 2 つのメソッドで検出された要素間の関係は、ターゲット要素を一意に識別するマルチアンカー記述子にエンコードされます。

AI Computer Vision は次の 2 つの部分で構成されています。

• UI Automation アクティビティ パッケージに含まれる 一連のアクティビティ。
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

次の表で、3 種類のサーバーと、それぞれで考慮すべき点について説明します。

サーバーの種類	動作のしくみ	考慮すべきこと
Cloud (既定および推奨)	UiPath クラウド サーバーは、すべての AI Computer Vision アクティビティと UI Automation アクティビティに既定で使用されます。	クラウドの AI Computer Vision は、デプロイの種類に関係なく使用できます。Orchestrator がオンプレミスかクラウドかにかかわらず、クラウドの Computer Vision は特別な設定なしに実行されます。
オンプレミス	独自の AI Computer Vision サーバーをホストおよび管理し、それを使用して AI Computer Vision アクティビティを実行します。	独自のハードウェア インフラストラクチャ (GPU) またはクラウド環境が必要であり、それらをローカルにデプロイ、更新、管理する場合。UiPath クラウド サーバーと比較した場合、AI モデルのアップグレード時に後方互換性の問題が発生する可能性もあります。回避するには、「 モデルの更新に対する回復性 」をご覧ください
ローカル	ローカル サーバーはローカルの CPU で実行され、最も移植性の高いバージョンです。	動作速度が遅くなり、検出精度がやや低下します。

主なメリット

以下に、AI Computer Vision の便利な機能をいくつか示します。

• セレクターを超えた自動化 - ロボットが、より多くの画面上のフィールドやコンポーネント (Flash、Silverlight、PDF、画像を含む) を認識して操作できるようにします。
• VDI とデスクトップでの信頼性 - 失敗しやすい画像自動化技術やデスクトップ上のセレクターベースのターゲット設定に伴う問題を軽減します。Citrix、VMware、または Microsoft のリモート デスクトップ内でオートメーションを作成します。
• 幅広い種類のインターフェイス - デスクトップと Web アプリケーション用の VDI 環境 (Citrix、VMWare、Microsoft RDP、VNC など) が含まれます。UI 要素が自動的に識別されオブジェクト リポジトリに追加されるため、作業時間を短縮できます。
• インテリジェントで直感的な機能 - 画面上のウィザードで、画面上の選択に関する詳細、検証、および通知を表示します。レコーダーを使用して、視覚ベースの完全なオートメーションを簡単に生成できます。
• 実行時の自動スクロールのサポート - AI Computer Vision アクティビティを使用して、Web ページやアプリのスクロール可能なコンテンツの操作を簡単に自動化できます。
• クロスプラットフォーム機能 - リモート デスクトップを介して、Windows、Linux、Android およびその他のオペレーティング システムの操作を自動化します。
• VDI と非 VDI 間のオートメーション - 必要な変更作業を減らし、VDI からデスクトップへの自動化を簡略化します。
• 複数のデプロイ オプション - SaaS を介してデプロイしたり、オンプレミスの Linux や Windows、またはお使いのデスクトップから利用したりできます。
• 動的な UI 要素 - 表、ドロップダウン リスト、チェックボックスの要素を含むオートメーションの作成を可能にします。これにより、オートメーションの回復性が向上し、UI の小さな変更に対応してこれらの動的な要素を操作できます。
• 統合ターゲットの一部として UI Automation で利用可能 - セレクターと AI Computer Vision の記述子の両方が必要な場合に、UI ベースのオートメーションを構築しやすくします。

デプロイ オプション

AI Computer Vision の既存のデプロイ オプションの並列比較については、『概要ガイド』の「 AI Computer Vision の違い 」セクションをご覧ください。