Computer Vision アクティビティ

このセクションには、UiPath.UIAutomation.Activities パッケージに含まれる Computer Vision 関連のアクティビティが記載されています。

• CV チェック
• CV クリック
• CV ドロップダウン リストから選択
• CV 要素の存在を確認
• CV 表を抽出
• CV テキストを取得
• CV 強調表示
• CV ホバー
• CV 更新
• CV 画面スコープ
• CV 文字を入力

注: Computer Vision アクティビティは、Windows 7 に対応していません。

Computer Vision アクティビティには、リファクタリングされた [クリック]、[文字を入力]、[テキストを取得] などの基本的な UI Automation アクティビティが含まれています。これらの Computer Vision アクティビティが従来のアクティビティと異なる大きな点は、UiPath のマシン ラーニング部門の独自開発による Computer Vision のニューラル ネットワークを使用している点です。このニューラル ネットワークは、ボタン、テキスト入力フィールド、チェック ボックスなどの UI 要素をセレクターを使用せずに識別することができます。

これらのアクティビティは、Citrix マシンなどの仮想デスクトップ環境でのオートメーション向けに作成されたものであり、セレクターが存在しない/信頼性に乏しいという問題を回避します。これらのアクティビティは、ニューラル ネットワークに自動化対象ウィンドウの画像を送信します。ニューラル ネットワークでは、これらの画像が解析され、すべての UI 要素が特定され、どのような要素であるかに従ってラベル付けされます。スマート アンカーを使用してやり取りしている UI 要素の正確な場所をピンポイントで特定し、意図するアクションが確実に成功するようにしています。

Computer Vision アクティビティを使用する

すべての Computer Vision アクティビティは [CV 画面スコープ] アクティビティ内でのみ機能します。[CV 画面スコープ] アクティビティは、ニューラル ネットワーク サーバーへの実際の接続を確立して、自動化するアプリケーションの UI を分析できるようにします。

Computer Vision アクティビティを使用するワークフローは、デザイナー パネルに [CV 画面スコープ] アクティビティをドラッグして開始する必要があります。

その後、スコープ アクティビティの本体にある [画面上で指定] ボタンを使用して、作業する画面の領域を選択できます。

注: 参考スクリーンショットをクリックすると、キャプチャされた画像が表示され、ニューラル ネットワークと OCR エンジンにより特定された UI 要素がすべて紫色で強調表示されます。

注: 領域選択は、自動化するアプリケーションの UI の一部のみを示すためにも使用できます。この機能は、同じラベルを持つ複数のテキスト フィールドが存在し、これらを正しく特定できない場合に特に有用です。

[CV 画面スコープ] アクティビティが適切に設定されたら、オートメーションを構築するためにパッケージの他のアクティビティすべてを使用し始めることができます。

Indicate on screen

The activities that perform actions on UI elements can be configured at design time by using the Indicate on screen button found in the activity card. The activities that have this feature are:

• CV チェック
• CV クリック
• CV ドロップダウン リストから選択
• CV 要素の存在を確認
• CV 表を抽出
• CV テキストを取得
• CV 強調表示
• CV ホバー
• CV 画面スコープ
• CV 文字を入力

Clicking the Indicate on screen (hotkey: I) button opens the helper wizard.

指定

[指定] フィールドは、現時点で示されているものを指定します。ヘルパーが初めて開かれたとき、[ターゲット] が示される必要があります。考えられるターゲットごとに、ウィザードはアンカーを自動的に選択します (アンカーがある場合) 。

要素を表示

ウィザードの [要素を表示] (ホットキー：s) は、Computer Vision 分析で特定された UI 要素を強調表示するため、インタラクションする対象を選択しやすくなります。

画面を更新

[画面を更新] (ホットキー: F5) ボタンは、ターゲット アプリで変更があった場合に設計時に使用でき、新しい画像を Computer Vision サーバーに送信して再分析することができます。

待機後に画面を更新

[待機後に画面を更新] (ホットキー: F2) ボタンは、3 秒待った後、対象のアプリを更新します。実行時の自動スクロールの方向もキャプチャされます ([スクロール方向] プロパティ)。

相対要素:

[指定] ウィザードが含まれるアクティビティには [相対要素] 機能も含まれています。ターゲットは安定した要素であり、ターゲットを基準とした距離をドラッグします。メインである安定ターゲットは、2 番目の相対ターゲットのプロキシ ターゲットとして機能します。

これは、Computer Vision エンジンが識別した UI 要素に対応しない領域を選択する場合や、特定の UI 要素を指定することなく UI 内の一般的な領域を選択する場合に便利です。

相対ターゲットは、自動化するアプリケーションの単一のポイントにすることも、領域選択にすることもできます。

単一ポイント選択は通常、Computer Vision での検出が正確ではなく、特定の要素が見つからない可能性がある場所に配置されます。 単一ポイント選択を使用するアクティビティは、[CV クリック]、[CV ホバー]、および [CV 文字を入力] です。

領域選択は [CV テキストを取得] で使用され、このアクティビティでは自動的にアクティブ化されます。

注: [相対要素] のターゲットとして使用するポイントと領域はどちらも、使用する画面で選択した解像度スケールに合わせて拡大縮小可能です。その代わりに、アプリケーション自体のスケールが可変の場合、この機能の信頼性は失われます。

一般的なルールとして、追加するアンカーは実行時に検出される必要があります。つまり、少なくとも 1 つのアンカーが検出されなかった場合、選択全体が検出されなくなります。 そのため、アンカーは、Computer Vision で毎回確実に検出でき、実行時に UI 上で大きく変化しない安定した要素である必要があります。

たとえば、下の画像の「X」ボタンをクリックするとします。 ターゲットは「X」ボタンにありますが、クリックは緑色の円で発生します。これは、「X」ボタンに対して相対的にクリックすることを選択したためです。 したがって、Computer Vision が特定の UI 要素を検出できない場合を除き、[相対要素] 機能を使用する必要はありません。

相対的な領域ではなく「X」ボタンを選択するには、「X」ボタンの枠線が緑色であることを確認してください。

「X」ボタンが安定していない場合は、安定した要素を基準にしてクリックできます。

Table indication

Computer Vision アクティビティは、表の指定もサポートしています。表内でターゲットを設定するには、操作するセルを選択し、セルの位置を定義する列と行を自動的に特定してグリッドに表示するようニューラル ネットワークに指示します。

既定では、記述子で列と行の名前を使用して、セルの位置を正確に特定します。列インデックスと行インデックスをクリックすると、自動的に記述子に追加されます。これは、列名と行名が変更された場合に、セルの同じ位置を抽出するのに便利です。

Target が正常に示されると、ウィザードが閉じて、選択したターゲットでアクティビティが構成されます。

注: ニューラル ネットワークの動作エラーを送信していただくと、ニューラル ネットワークの学習を助けると同時に、当社がさらに優れた製品を提供するための間接的な支援にもなります。可能な限り多くの問題を送信してください。それにより、当社は問題を認識し、修正する機会を得ることができます。