- リリース ノート
- 概要
- はじめに
- モデルの更新に対する回復力
- セットアップと構成
- データ ストレージ
はじめに
AI Computer Vision はマシン ラーニングに基づいたメソッドです。コンピューター画面上のすべての UI 要素を視覚的に識別し、UiPath Robot を介してこれらの UI 要素を操作することで、人間の操作を模倣します。アプリケーションの基になるプロパティは必要なく、使用されることもありません。必要なのは、さまざまな画面要素の特徴と関係のみです。
AI Computer Vision では、セレクターを利用するのではなく、AI (オブジェクト検出、OCR、テキストのあいまい一致、アイコンの画像マッチング) とアンカー システムを使用してすべてを関連付けます。より正確に言えば、画面上の要素を視覚的に特定するために、要素検出 (マシン ラーニング サーバー上) とテキスト (OCR) 検出を実行し、この 2 つを組み合わせて UI を完全に理解します。その後、この 2 つの方法で検出した要素間の関係をマルチアンカー記述子にエンコードし、この記述子によってターゲット要素を一意に識別します。
AI Computer Vision は、UI Automation アクティビティ パッケージに含まれる一連のアクティビティと、自動化対象の UI を実際に分析するために必要な AI モデルをホストするサーバー (クラウド、オンプレミス、またはローカル) で構成されます。既定では UiPath のクラウド サーバーが使用されます。このサーバーの使用は、すべての Computer Vision アクティビティと UI Automation アクティビティに推奨されています。クラウドの Computer Vision は、デプロイの種類に関係なく使用できます。たとえば、オンプレミスの Orchestrator またはクラウドの Orchestrator のどちらを使用していても、特別な設定を行う必要なくクラウドの Computer Vision を実行できます。
または、独自のオンプレミス AI Computer Vision サーバーをホストおよび管理し、それを使用して AI Computer Vision アクティビティを実行できます。この種類のサーバーを使用する場合、独自のハードウェア インフラストラクチャ (GPU) またはクラウド環境が必要です。さらに、独自の環境をローカルにデプロイ、更新、管理する必要があります。UiPath クラウド サーバーと比較した場合、AI モデルのアップグレード時に後方互換性の問題が発生する可能性もあります。この種類の問題を回避する方法について詳しくは、「モデルの更新に対する回復性」をご覧ください。
ローカル サーバーを利用することもできます。ローカルの CPU で動作し、最も移植性の高いバージョンです。ただし、動作速度は遅くなり、検出精度がやや低下します。
以下に、AI Computer Vision の便利な機能をいくつか示します。
- セレクターを超えた自動化 - ロボットが、より多くの画面上のフィールドやコンポーネント (Flash、Silverlight、PDF、画像を含む) を認識して操作できるようにします。
- VDI とデスクトップでの信頼性 - 失敗しやすい画像自動化技術やデスクトップ上のセレクターベースのターゲット設定に伴う問題を軽減します。Citrix、VWware、または Microsoft のリモート デスクトップ内でオートメーションを作成します。
- 幅広い種類のインターフェイス - デスクトップと Web アプリケーション用の VDI 環境 (Citrix、VMWare、Microsoft RDP、VNC など) が含まれます。UI 要素が自動的に識別されオブジェクト リポジトリに追加されるため、作業時間を短縮できます。
- インテリジェントで直感的な機能 - 画面上のウィザードで、画面上の選択に関する詳細、検証、および通知を表示します。レコーダーを使用して、視覚ベースの完全なオートメーションを簡単に生成できます。
- 実行時の自動スクロールのサポート - Computer Vision アクティビティを使用して、Web ページやアプリのスクロール可能なコンテンツの操作を簡単に自動化できます。
- クロスプラットフォーム機能 - リモート デスクトップを介して、Windows、Linux、Android およびその他のオペレーティング システムの操作を自動化します。
- VDI と非 VDI 間のオートメーション - 必要な変更作業を減らし、VDI からデスクトップへの自動化を簡略化します。
- 複数のデプロイ オプション - SaaS を介してデプロイしたり、オンプレミスの Linux や Windows、またはお使いのデスクトップから利用したりできます。
- 動的な UI 要素 - 表、ドロップダウン リスト、チェックボックスの要素を含むオートメーションの作成を可能にします。これにより、オートメーションの回復性が向上し、UI の小さな変更に対応してこれらの動的な要素を操作できます。
- 統合ターゲットの一部として UI Automation で利用可能 - セレクターと Computer Vision の記述子の両方が必要な場合に、UI ベースのオートメーションを構築しやすくします。
以下の表に、Computer Vision の現在のデプロイ オプションの比較を示します。
| UiPath クラウド サーバー | オンプレミス サーバー | ローカル サーバー | コメント | |
|---|---|---|---|---|
| モデル回帰テスト | 新しいモデルはすべて、以前の反復処理で検出されていたすべての設計時データを検出し、オートメーションの実行が失敗しないようにします。 | |||
| 設計時のモック データ ストレージ | このモデルは UI 要素の形と色を学習するため、機密情報が含まれないモック データを使用することをお勧めします。 | |||
| ランタイム データ ストレージ | (機密情報が含まれている可能性がある) 実行時の運用環境のデータは使用または保存されることはなく、AI モデルの入力としてのみ使用されます。 | |||
| 手間もコストもかからないサーバー | N/A | |||
| 速度 | 高速 (GPU) | 高速 (GPU) | やや低速 (CPU) | ローカル サーバーはクラウド モデルの圧縮版 (ニューロンの数が少ない) であるため、より一般的な見た目の UI 要素を識別し操作する、単純なシナリオに適している可能性があります。 |
| ビジョンの精度 | 高 (High) | 高 (High) | やや低い | ローカル サーバーはクラウド モデルの圧縮版 (ニューロンの数が少ない) であるため、より一般的な見た目の UI 要素を識別し操作する、単純なシナリオに適している可能性があります。 |
| Enterprise ライセンスで無料 | N/A | |||
| 使用状況 |
| 無制限 | 無制限 | UiPath クラウド サーバーの使用制限は、非常に大きなヘッドルームを考慮して設計されています。最も負荷が高い使用シナリオでも、この制限値に達することは非常に困難です。 |
