マウスでアクティブ化する操作を管理する

次の例では、Web サイトでのマウス操作を自動化する方法を説明します。ここでは、[OCR でテキストの存在を確認]、[OCR でテキストを取得]、[OCR で検出したテキスト上でホバー] などのアクティビティを使用します。これらのアクティビティは、UiPath.UIAutomation.Activities パッケージに含まれています。

サンプルと同等のオートメーション プロセスは以下のように構築できます。

1. Studio を開いて、新しいプロセスを作成します。

2. デザイナー パネルに [シーケンス] コンテナーをドラッグします。

   • 次の変数を作成します。

     変数名	変数の型	既定値
     ocrTextFound	Boolean

3. [ブラウザーを開く] アクティビティを [シーケンス] コンテナー内部にドラッグします。

   • [プロパティ] パネルで、[ブラウザーの種類] ドロップダウン リストから [IE] を選択します。
   • [URL] フィールドに Web サイトのパスを追加します。この例では "https://google.com" です。
   • [新しいセッション] オプションのチェック ボックスを選択します。これにより、選択したブラウザーが新しいセッションとして開きます。

4. [ブラウザーを開く] アクティビティの下に [文字を入力] アクティビティを配置します。

   • アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
     
     

     

     
     
   • [プロパティ] パネルの [テキスト] フィールドに値 "News" を追加します。
   • [入力をシミュレート] オプションのチェック ボックスを選択します。このオプションを指定することで、対象のアプリケーションの技術を使用して、バックグラウンドで入力操作がシミュレートされます。

5. [文字を入力] アクティビティの下に [OCR でテキストの存在を確認] アクティビティをドラッグします。

   • アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
     
     

     

     
     
   • [プロパティ] パネルの [テキスト] フィールドに値 "Lucky" を追加します。
   • [存在の有無] フィールドに変数 ocrTextFound を追加します。
6. [OCR でテキストの存在を確認] アクティビティ内部に [Tesseract OCR] を配置します。

7. [OCR でテキストの存在を確認] アクティビティの下に [条件分岐 (if)] アクティビティを配置します。

   • [条件] フィールドに変数 ocrTextFound を追加します。

8. [条件分岐 (if)] アクティビティの [Then] コンテナー内部に [OCR で検出したテキスト上でホバー] を配置します。

   • アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
     
     

     

     
     
   • Text (テキスト) フィールドに値 "Lucky" を追加します。
9. [OCR で検出したテキスト上でホバー] アクティビティ内部に [Tesseract OCR] を配置します。

10. [OCR で検出したテキスト上でホバー] アクティビティの下に [クリック] アクティビティをドラッグします。

    • アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
      
      

      

      
      
    • [プロパティ] パネルで [ウィンドウ メッセージを送信] オプションのチェック ボックスを選択します。これにより、対象のアプリケーションに特定のメッセージを送信することで、クリック操作が実行されるようにします。

11. [条件分岐 (if)] アクティビティの [Else] フィールド内部に [OCR で検出したテキストをクリック] アクティビティをドラッグします。

    • アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
      
      

      

      
      
    • [プロパティ] パネルの [テキスト] フィールドに値 "Search" を追加します。
    • [ウィンドウ メッセージを送信] オプションのチェック ボックスを選択します。これにより、対象のアプリケーションに特定のメッセージを送信することで、[OCR で検出したテキストをクリック] アクションが実行されるようにします。
12. [OCR で検出したテキスト上でホバー] アクティビティ内部に [Tesseract OCR] を配置します。
13. プロセスを実行します。新しい Web ブラウザー インスタンスが開き、指定した単語による検索が始まります。

サンプルをダウンロードする