UI Automation アクティビティについて

概要

UI Automation アクティビティを使用すると、ソフトウェア アプリケーションのグラフィカル ユーザー インターフェイスの要素を操作できます。ボタンのクリック、テキスト ボックスへの入力、ドロップダウン メニューからの選択などのアクティビティがあります。このためには UiPath Robot を使用します。UiPath Robot は人間のユーザーと同じようにタスクを実行するので、複雑な業務プロセスや反復的な作業の自動化が容易になります。

ユーザー インターフェイスを自動化する場合、最初のフェーズは、人間のユーザーが行う手順の論理的なシーケンスを理解することです。そして次のフェーズで、その手順をアクティビティに変換して構成します。UI Automation アクティビティはコンテナー、入力、出力、同期のアクティビティとして機能することができ、アクティビティのプロパティで UiPath Robot によるアクションの実行方法を指定します。

UI Automation アクティビティには、次のパッケージが含まれています。

• UI Automation
• Computer Vision Local Server
• モバイル オートメーション
• ターミナル

プロジェクトの対応 OS

以下の表を使用して、プラットフォームとアクティビティ パッケージ間の相互運用性を確認します。

アクティビティ パッケージ	Windows - レガシ Studio プロジェクト	Windows (モダン) Studio プロジェクト	クロスプラットフォーム Studio プロジェクト
UI Automation
Computer Vision Local Server
モバイル オートメーション
ターミナル

UI Automation アクティビティ パッケージについて

UI Automation アクティビティ パッケージには、人間の動作をシミュレートする幅広い機能が用意されています。このパッケージで提供される強力で包括的な機能の目的は、ユーザー インターフェイスのオートメーションを構築して生産性を向上させ、時間の節約とエラーの最小化を実現することです。最も一般的なユース ケースをいくつか示します。

• 業務プロセスの自動化 (カスタマー サービス、会計、受注処理、従業員のオンボーディングなど)
• Web スクレイピング (顧客のフィードバックの分析、価格比較、リード生成、製品レビューのスクレイピングなど)
• ユーザー インターフェイスのテストを自動化して、アプリケーションが正しく機能することを確認

詳細については、UI Automation パッケージのセクションをご覧ください。

Computer Vision Local Server パッケージについて

Computer Vision Local Server パッケージにはアクティビティが含まれていませんが、プロジェクトにインストールすると、ローカルの AI Computer Vision サーバーを使用できるようになります。

AI Computer Vision は、すべての UiPath Robot がセレクターや画像に依存することなく画面をキャプチャしたり、あらゆる UI 要素を視覚的に識別したりできるようにする AI スキルです。人間と同じようにユーザー インターフェイスを認識できるアルゴリズムであり、AI、OCR、テキストのあいまい一致の組み合わせと、そのすべてを関連付けるアンカー システムを使用します。

詳細については、Computer Vision Local Server パッケージのセクションをご覧ください。

モバイル オートメーション アクティビティ パッケージについて

モバイル オートメーション アクティビティ パッケージは、モバイル アプリケーションのテストと操作を自動化する一連の堅牢なアクティビティを提供します。このパッケージは Android および iOS アプリケーションをテストするためのツールを備えており、タップ、スワイプ、テキストの入力、モバイル要素の検証などのアクションを実行できます。このアクティビティ パッケージの主な機能は以下のとおりです。

• マルチプラットフォームのモバイル オートメーション - Android プラットフォームと iOS プラットフォームでモバイル アプリケーションを自動化できます。
• モバイル要素の操作 - タップ、スワイプ、スクロール、テキスト入力などのアクションをターゲットのモバイル要素で実行します。
• モバイルの検証と確認 - モバイル要素のプロパティの検証、期待される値の確認、特定のシナリオの処理を行います。
• モバイル デバイス管理 - デバイス情報のキャプチャ、デバイスの向きの管理、ネットワーク接続の制御、アプリケーションのインストールとアンインストール、デバイス固有の設定の処理を行います。

モバイル オートメーション入門

• 最初のモバイル テスト プロジェクトを作成する
• モバイル オートメーション ワークフローの例
• React Native アプリのオートメーション

ターミナル アクティビティ パッケージについて

ターミナル アクティビティ パッケージを使用すると、幅広いターミナル環境に直接接続またはターミナル エミュレーターを使用して接続できます。

その後、アクティビティを使用して、テキストや色、フィールド、画面の位置を取得する、キーを送信する、カーソルを移動する、特定のテキストまたはフィールドがトリガーとして表示されるまで待機する、などのアクションを実行できます。

詳細については、Terminal パッケージのセクションをご覧ください。