- 概要
- UI Automation アクティビティについて
- UI Automation
- UI Automation を使用して自動化されるアプリケーションと技術
- プロジェクトの対応 OS
- UI-ANA-016 - [ブラウザーを開く] に使用されている URL を検出
- UI-ANA-017 - [エラー発生時に実行を継続] の値が True
- UI-ANA-018 - OCR/画像関連のアクティビティのリスト
- UI-DBP-006 - コンテナーの使用
- UI-DBP-013 - Excel の自動化方法の誤用
- UI-DBP-030 - セレクター内での変数の使用禁止
- UI-PRR-001 - クリックをシミュレート
- UI-PRR-002 - 入力をシミュレート
- UI-PRR-003 - [アプリケーションを開く] の誤用
- UI-PRR-004 - ハードコードされた待機時間
- UI-REL-001 - セレクター内の大きいインデックス値
- UI-SEC-004 - メール アドレスのデータを含むセレクター
- UI-SEC-010 - アプリ/URL の制限
- UI-USG-011 - 許可されていない属性
- UX-SEC-010 - アプリ/URL の制限
- UX-DBP-029 - セキュリティで保護されていないパスワードの使用
- UI-PST-001 - [プロジェクト設定] の監査ログ レベル
- UiPath ブラウザー移行ツール
- クリッピング領域
- Computer Vision レコーダー
- アクティベート
- アンカー ベース
- ブラウザーにアタッチ
- ウィンドウにアタッチ
- ユーザー入力をブロック
- 吹き出し
- チェック
- クリック
- 画像をクリック
- 画像クリック トリガー
- OCR で検出したテキストをクリック
- テキストをクリック
- クリック トリガー
- アプリケーションを閉じる
- タブを閉じる
- ウィンドウを閉じる
- コンテキスト対応のアンカー
- 選択されたテキストをコピー
- 要素属性変更トリガー
- 要素の存在を確認
- 要素スコープ
- 要素ステート変更トリガー
- UI ツリーをエクスポート
- 構造化データを抽出
- 子要素を探す
- 要素を探す
- 画像を探す
- 一致する画像を探す
- OCR でテキスト位置を探す
- 相対要素を探す
- テキスト位置を探す
- アクティブ ウィンドウを取得
- 親要素を取得
- 属性を取得
- イベント情報を取得
- クリップボードから取得
- フル テキストを取得
- OCR でテキストを取得
- パスワードを取得
- 位置を取得
- ソース要素を取得
- テキストを取得
- 表示中のテキストを取得
- 前に戻る
- 次に進む
- ホームに移動
- Google Cloud Vision OCR
- ウィンドウを隠す
- 強調表示
- ホットキー トリガー
- ホバー
- 画像上でホバー
- OCR で検出したテキスト上でホバー
- テキスト上でホバー
- 画像の存在を確認
- 画面上で指定
- .NET コードを挿入
- JS スクリプトを挿入
- ActiveX メソッドを呼び出し
- キー操作トリガー
- 画像を読み込み
- ウィンドウを最大化
- Microsoft Azure ComputerVision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- ウィンドウを最小化
- イベントを監視
- マウス トリガー
- ウィンドウを移動
- URL に移動
- OCR でテキストの存在を確認
- 要素が出現したとき
- 要素が消滅したとき
- 画像が出現したとき
- 画像が消滅したとき
- アプリケーションを開く
- ブラウザーを開く
- ブラウザーを更新
- ユーザー イベントを再生
- ウィンドウを復元
- 画像を保存
- 項目を選択
- 複数の項目を選択
- ホットキーを押下
- クリッピング領域を設定
- フォーカスを設定
- テキストを設定
- クリップボードに設定
- Web 属性を設定
- ウィンドウを表示
- プロセスを開始
- システム トリガー
- スクリーンショットを作成
- Tesseract OCR
- テキストの存在を確認
- ツールチップ
- 文字を入力
- SecureString で文字を入力
- フォアグラウンドを使用
- 属性を待つ
- 要素の消滅を待つ
- 画像の消滅を待つ
- UI Automation API を使用してブラウザー検索を実行し、結果を取得する
- Web の閲覧
- 画像を検索する
- 画像をクリックする
- イベントをトリガーおよび監視する
- ファイルを作成して上書きする
- HTML ページ: 情報を抽出して操作する
- ウィンドウの操作
- リスト項目の選択の自動化
- ウィンドウ要素を探して操作する
- テキスト操作の自動化を行う
- 画像を読み込んで処理する
- マウスでアクティブ化する操作を管理する
- アプリケーションランタイムの操作を自動化する
- ローカル アプリケーションの自動実行
- ブラウザーのナビゲーション
- Web オートメーション
- トリガー スコープの例
- DevExpress での UI Automation の有効化
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
UI Automation のアクティビティ
UI Automation アクティビティについて
UI Automation アクティビティを使用すると、ソフトウェア アプリケーションのグラフィカル ユーザー インターフェイスの要素を操作できます。ボタンのクリック、テキスト ボックスへの入力、ドロップダウン メニューからの選択などのアクティビティがあります。このためには UiPath Robot を使用します。UiPath Robot は人間のユーザーと同じようにタスクを実行するので、複雑な業務プロセスや反復的な作業の自動化が容易になります。
ユーザー インターフェイスを自動化する場合、最初のフェーズは、人間のユーザーが行う手順の論理的なシーケンスを理解することです。そして次のフェーズで、その手順をアクティビティに変換して構成します。UI Automation アクティビティはコンテナー、入力、出力、同期のアクティビティとして機能することができ、アクティビティのプロパティで UiPath Robot によるアクションの実行方法を指定します。
UI Automation アクティビティには、次のパッケージが含まれています。
- UI Automation
- Computer Vision Local Server
- モバイル オートメーション
- ターミナル
以下の表を使用して、プラットフォームとアクティビティ パッケージ間の相互運用性を確認します。
アクティビティ パッケージ | Windows - レガシ Studio プロジェクト | Windows (モダン) Studio プロジェクト | クロスプラットフォーム Studio プロジェクト |
---|---|---|---|
UI Automation |
|
|
|
Computer Vision Local Server |
|
|
|
モバイル オートメーション |
|
|
|
ターミナル |
|
|
|
UI Automation アクティビティ パッケージには、人間の動作をシミュレートする幅広い機能が用意されています。このパッケージで提供される強力で包括的な機能の目的は、ユーザー インターフェイスのオートメーションを構築して生産性を向上させ、時間の節約とエラーの最小化を実現することです。最も一般的なユース ケースをいくつか示します。
- 業務プロセスの自動化 (カスタマー サービス、会計、受注処理、従業員のオンボーディングなど)
- Web スクレイピング (顧客のフィードバックの分析、価格比較、リード生成、製品レビューのスクレイピングなど)
- ユーザー インターフェイスのテストを自動化して、アプリケーションが正しく機能することを確認
詳細については、UI Automation パッケージのセクションをご覧ください。
Computer Vision Local Server パッケージにはアクティビティが含まれていませんが、プロジェクトにインストールすると、ローカルの AI Computer Vision サーバーを使用できるようになります。
AI Computer Vision は、すべての UiPath Robot がセレクターや画像に依存することなく画面をキャプチャしたり、あらゆる UI 要素を視覚的に識別したりできるようにする AI スキルです。人間と同じようにユーザー インターフェイスを認識できるアルゴリズムであり、AI、OCR、テキストのあいまい一致の組み合わせと、そのすべてを関連付けるアンカー システムを使用します。
詳細については、Computer Vision Local Server パッケージのセクションをご覧ください。
モバイル オートメーション アクティビティ パッケージは、モバイル アプリケーションのテストと操作を自動化する一連の堅牢なアクティビティを提供します。このパッケージは Android および iOS アプリケーションをテストするためのツールを備えており、タップ、スワイプ、テキストの入力、モバイル要素の検証などのアクションを実行できます。このアクティビティ パッケージの主な機能は以下のとおりです。
- マルチプラットフォームのモバイル オートメーション - Android プラットフォームと iOS プラットフォームでモバイル アプリケーションを自動化できます。
- モバイル要素の操作 - タップ、スワイプ、スクロール、テキスト入力などのアクションをターゲットのモバイル要素で実行します。
- モバイルの検証と確認 - モバイル要素のプロパティの検証、期待される値の確認、特定のシナリオの処理を行います。
- モバイル デバイス管理 - デバイス情報のキャプチャ、デバイスの向きの管理、ネットワーク接続の制御、アプリケーションのインストールとアンインストール、デバイス固有の設定の処理を行います。
モバイル オートメーション入門
ターミナル アクティビティ パッケージを使用すると、幅広いターミナル環境に直接接続またはターミナル エミュレーターを使用して接続できます。
その後、アクティビティを使用して、テキストや色、フィールド、画面の位置を取得する、キーを送信する、カーソルを移動する、特定のテキストまたはフィールドがトリガーとして表示されるまで待機する、などのアクションを実行できます。
詳細については、Terminal パッケージのセクションをご覧ください。