- 概要
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- トランザクションを呼び出し
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- 画面上の画像をクリック
- テキストをクリック
- ツールバー ボタンをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- ALV 階層テーブルを展開
- ALV ツリーを展開
- ツリーを展開
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ステータス バーを読み取り
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- SAP にログイン
- SAP にログオン
- SAP セッション属性変更トリガー
- 画像を保存
- カレンダーから日付を選択
- 項目を選択
- メニュー項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- 表のセル スコープ
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- Computer Vision ローカル サーバー
- モバイル オートメーション
- ターミナル
マウスでアクティブ化する操作を管理する
次の例では、Web サイトでのマウス操作を自動化する方法を説明します。ここでは、[OCR でテキストの存在を確認]、[OCR でテキストを取得]、[OCR で検出したテキスト上でホバー] などのアクティビティを使用します。これらのアクティビティは、UiPath.UIAutomation.Activities パッケージに含まれています。
サンプルと同等のオートメーション プロセスは以下のように構築できます。
- Studio を開いて、新しいプロセスを作成します。
-
デザイナー パネルに [シーケンス] コンテナーをドラッグします。
-
次の変数を作成します。
変数名
変数の型
既定値
ocrTextFound
Boolean
-
-
[ブラウザーを開く] アクティビティを [シーケンス] コンテナー内部にドラッグします。
- [プロパティ] パネルで、[ブラウザーの種類] ドロップダウン リストから [IE] を選択します。
- [URL] フィールドに Web サイトのパスを追加します。この例では
"https://google.com"
です。 - [新しいセッション] オプションのチェック ボックスを選択します。これにより、選択したブラウザーが新しいセッションとして開きます。
-
[ブラウザーを開く] アクティビティの下に [文字を入力] アクティビティを配置します。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [プロパティ] パネルの [テキスト] フィールドに値
"News"
を追加します。 - [入力をシミュレート] オプションのチェック ボックスを選択します。このオプションを指定することで、対象のアプリケーションの技術を使用して、バックグラウンドで入力操作がシミュレートされます。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
-
[文字を入力] アクティビティの下に [OCR でテキストの存在を確認] アクティビティをドラッグします。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [プロパティ] パネルの [テキスト] フィールドに値
"Lucky"
を追加します。 - [存在の有無] フィールドに変数
ocrTextFound
を追加します。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [OCR でテキストの存在を確認] アクティビティ内部に [Tesseract OCR] を配置します。
-
[OCR でテキストの存在を確認] アクティビティの下に [条件分岐 (if)] アクティビティを配置します。
- [条件] フィールドに変数
ocrTextFound
を追加します。
- [条件] フィールドに変数
-
[条件分岐 (if)] アクティビティの [Then] コンテナー内部に [OCR で検出したテキスト上でホバー] を配置します。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- Text (テキスト) フィールドに値
"Lucky"
を追加します。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [OCR で検出したテキスト上でホバー] アクティビティ内部に [Tesseract OCR] を配置します。
-
[OCR で検出したテキスト上でホバー] アクティビティの下に [クリック] アクティビティをドラッグします。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [プロパティ] パネルで [ウィンドウ メッセージを送信] オプションのチェック ボックスを選択します。これにより、対象のアプリケーションに特定のメッセージを送信することで、クリック操作が実行されるようにします。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
-
[条件分岐 (if)] アクティビティの [Else] フィールド内部に [OCR で検出したテキストをクリック] アクティビティをドラッグします。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [プロパティ] パネルの [テキスト] フィールドに値
"Search"
を追加します。 - [ウィンドウ メッセージを送信] オプションのチェック ボックスを選択します。これにより、対象のアプリケーションに特定のメッセージを送信することで、[OCR で検出したテキストをクリック] アクションが実行されるようにします。
- アクティビティ内部で [画面上で指定] オプションをクリックします。以下の GIF では、実行する必要があるすべての手順を示しています。
- [OCR で検出したテキスト上でホバー] アクティビティ内部に [Tesseract OCR] を配置します。
- プロセスを実行します。新しい Web ブラウザー インスタンスが開き、指定した単語による検索が始まります。