モバイル オートメーション用の Computer Vision を有効化する

Computer Vision を使用すると、UiPath のニューラル ネットワークを使用して UI 要素を識別し、それらをロボットで操作することで、人間の操作をシミュレートできます。モバイル オートメーションのコンテキストでは、Computer Vision 機能によって、識別できるターゲット要素の数を増やし、別の方法では識別や自動化が困難な UI 要素を自動化できます。

Computer Vision を使用できるアクティビティは下表のとおりです。

アクティビティ	説明
テキストを取得	指定した UI 要素からテキストを抽出します。
テキストを設定	指定したテキストをターゲット UI 要素内に入力します。
タップ	指定された UI 要素が存在するかどうかを示すブール変数を返します。
スワイプ	画面を指定された方向に指定された回数スワイプします。
要素の存在を確認	指定された UI 要素が存在するかどうかを示すブール変数を返します。

Computer Vision を使用してモバイル UI 要素の検出を開始するには、クラウドまたはオンプレミスのサーバー用に Computer Vision サーバーを設定する必要があります。Computer Vision サーバーは、作業中のプロジェクトの [プロジェクト設定] メニューで設定できます。

Computer Vision の設定セクションは、他の 3 つのサブセクションに分かれています。

• サーバー - 接続先の Computer Vision サーバーの種類 (クラウドまたはオンプレミス) の URL です。[実行時の値] および [デバッグ時の値] サーバー フィールドの既定値は、Computer Vision のクラウド インスタンスです (https://cv.uipath.com)。
• API キー - 組織に固有の、Computer Vision の API キーです。
• ローカル サーバーを使用 - Computer Vision のローカル サーバーを使用します。

既知の制限事項

モバイル オートメーション向け Computer Vision は、CJK (中国語、日本語、韓国語) 言語をサポートしていません。

Computer Vision クラウド サーバー

クラウドの Computer Vision サーバーに接続するには、API キーまたはユーザー トークンを使用して認証できます。

API キー

1. [プロジェクト] パネルで、[プロジェクト設定] の [モバイル オートメーション] に移動し、[Computer Vision] セクションにフォーカスします。
2. [サーバー] は [実行時の値] フィールドと [デバッグ時の値] フィールドにあり、Computer Vision クラウド サーバーの URL を入力します。https://cv.uipath.com が既定値です。

   エンドポイントの変更については、「パブリック エンドポイント」をご覧ください。

3. 組織の Computer Vision の API キーを入力します。Computer Vision の API キーの取得方法については、「API キー」をご覧ください。

Computer Vision サーバーに対する認証を行う

Computer Vision サーバーに対する認証を行い、プロジェクト内で対応する機能を使用できます。認証方法について詳しくは、「認証」をご覧ください。

関連記事

クラウドの Computer Vision サーバーの構成方法について詳しくは、以下のリソースをご覧ください。

• パブリック エンドポイント
• サーバー エンドポイントを変更する

Computer Vision のローカル サーバーを有効化する

Computer Vision Local Server を使用するには、以下の手順を実行します。

1. UiPath.ComputerVision.LocalServer パッケージをインストールします。
2. [プロジェクト] パネルで、[プロジェクト設定] の [モバイル オートメーション] に移動し、[Computer Vision] セクションにフォーカスします。
3. [サーバー] フィールドで、以下の手順を実行します。
   1. MobileAutomation.Activities バージョン 24.12-preview 以前を使用している場合: [実行時の値] フィールドと [デバッグ時の値] フィールドに Computer Vision サーバーの URL を入力します。
      警告: 通常、Computer Vision Local Server ではこの手順は不要ですが、現在既知の問題があるため、モバイル オートメーション用の Computer Vision Local Server を期待どおりに動作させるには、Computer Vision サーバーの URL が必要です。
      Computer Vision サーバーの既定値は https://cv.uipath.com です。

      使用できる Computer Vision のパブリック エンドポイントについて詳しくは、「パブリック エンドポイント」をご覧ください。

   2. MobileAutomation.Activities バージョン 25.2.0-preview 以降を使用している場合: この手順は省略できます。
4. [ローカル サーバーを使用] の下の [実行時の値] と [デバッグ時の値] を True に設定します。