Computer Vision アクティビティ

このセクションには、UiPath.UIAutomation.Activities パッケージに含まれる Computer Vision 関連のアクティビティが記載されています。

• CV 画面スコープ
• CV クリック
• CV 要素の存在を確認
• CV テキストを取得
• CV 強調表示
• CV ホバー
• CV 文字を入力
• CV 更新
• CV ドロップダウン リストから選択
• CV チェック
• CV 表を抽出

重要: Computer Vision アクティビティが 19.10 で UI Automation アクティビティ パッケージに移動したことにより、Computer Vision アクティビティ パッケージのバージョンを既に含むプロジェクトに UI Automation v19.10.1 をインストールすると、エラーが発生します。

注: Computer Vision アクティビティは、Windows 7 に対応していません。

Computer Vision アクティビティには、リファクタリングされた [クリック]、[文字を入力]、[テキストを取得] などの基本的な UI Automation アクティビティが含まれています。これらの Computer Vision アクティビティが従来のアクティビティと異なる大きな点は、UiPath のマシン ラーニング部門の独自開発による Computer Vision のニューラル ネットワークを使用している点です。このニューラル ネットワークは、ボタン、テキスト入力フィールド、チェック ボックスなどの UI 要素をセレクターを使用せずに識別することができます。

これらのアクティビティは、Citrix マシンなどの仮想デスクトップ環境でのオートメーション向けに作成されたものであり、セレクターが存在しない/信頼性に乏しいという問題を回避します。これらのアクティビティは、ニューラル ネットワークに自動化対象ウィンドウの画像を送信します。ニューラル ネットワークでは、これらの画像が解析され、すべての UI 要素が特定され、どのような要素であるかに従ってラベル付けされます。スマート アンカーを使用してやり取りしている UI 要素の正確な場所をピンポイントで特定し、意図するアクションが確実に成功するようにしています。