UI Automation アクティビティについて

デスクトップ アプリケーションや Web ブラウザーでグラフィカル ユーザー インターフェイスの要素を操作するための UI Automation アクティビティです。

概要

UI Automation アクティビティを使用すると、ソフトウェア アプリケーションのグラフィカル ユーザー インターフェイスの要素を操作できます。ボタンのクリック、テキスト ボックスへの入力、ドロップダウン メニューからの選択などのアクティビティがあります。このためには UiPath Robot を使用します。UiPath Robot は人間のユーザーと同じようにタスクを実行するので、複雑な業務プロセスや反復的な作業の自動化が容易になります。

ユーザー インターフェイスを自動化する場合、最初のフェーズは、人間のユーザーが行う手順の論理的なシーケンスを理解することです。そして次のフェーズで、その手順をアクティビティに変換して構成します。UI Automation アクティビティはコンテナー、入力、出力、同期のアクティビティとして機能することができ、アクティビティのプロパティで UiPath Robot によるアクションの実行方法を指定します。

UI Automation アクティビティには、次のパッケージが含まれています。

• UI Automation
• Computer Vision Local Server
• モバイル オートメーション
• ターミナル

プロジェクトの対応 OS

以下の表を使用して、プラットフォームとアクティビティ パッケージ間の相互運用性を確認します。

アクティビティ パッケージ	Windows - レガシ Studio プロジェクト	Windows (モダン) Studio プロジェクト	クロスプラットフォーム Studio プロジェクト
UI Automation	✅	✅	✅
Computer Vision Local Server	✅	✅	❌
モバイル オートメーション	✅	✅	❌
ターミナル	✅	✅	❌

UI Automation アクティビティ パッケージについて

UI Automation アクティビティ パッケージは、人間の操作をシミュレートする幅広い機能を提供します。ユーザー インターフェイスのオートメーションを構築して時間を節約し、エラーを最小限に抑えることで生産性を向上させるように設計された、強力で包括的な機能を提供します。最も一般的なユース ケースには、次のようなものがあります。

• 業務プロセスの自動化 (カスタマー サービス、会計、受注処理、従業員のオンボーディングなど)
• Web スクレイピング (顧客のフィードバックの分析、価格比較、リード生成、製品レビューのスクレイピングなど)
• ユーザー インターフェイスのテストを自動化して、アプリケーションが正しく機能することを確認

詳細については、UI Automation パッケージのセクションをご覧ください。

Computer Vision Local Server パッケージについて

Computer Vision Local Server パッケージにはアクティビティが含まれていませんが、プロジェクトにインストールすると、ローカルの AI Computer Vision サーバーを使用できるようになります。

AI Computer Vision は、すべての UiPath Robot がセレクターや画像に依存することなく画面をキャプチャしたり、あらゆる UI 要素を視覚的に識別したりできるようにする AI スキルです。人間と同じようにユーザー インターフェイスを認識できるアルゴリズムであり、AI、OCR、テキストのあいまい一致の組み合わせと、そのすべてを関連付けるアンカー システムを使用します。

詳細については、Computer Vision Local Server パッケージのセクションをご覧ください。

モバイル オートメーション アクティビティ パッケージについて

モバイル オートメーション アクティビティ パッケージは、モバイル アプリケーションのテストと操作を自動化する一連の堅牢なアクティビティを提供します。Android および iOS アプリケーションをテストするためのツールを提供し、タップ、スワイプ、テキストの入力、モバイル要素の検証などの操作を可能にします。アクティビティ パッケージの主な機能は次のとおりです。

• マルチプラットフォームのモバイル オートメーション - Android プラットフォームと iOS プラットフォームでモバイル アプリケーションを自動化できます。
• モバイル要素の操作 - タップ、スワイプ、スクロール、テキスト入力などのアクションをターゲットのモバイル要素で実行します。
• モバイルの検証と確認 - モバイル要素のプロパティの検証、期待される値の確認、特定のシナリオの処理を行います。
• モバイル デバイス管理 - デバイス情報のキャプチャ、デバイスの向きの管理、ネットワーク接続の制御、アプリケーションのインストールとアンインストール、デバイス固有の設定の処理を行います。

モバイル オートメーション入門

• 最初のモバイル テスト プロジェクトを作成する
• モバイル オートメーション ワークフローの例
• React Native アプリのオートメーション

ターミナル アクティビティ パッケージについて

ターミナル アクティビティ パッケージを使用すると、幅広いターミナル環境に直接接続またはターミナル エミュレーターを使用して接続できます。

その後、アクティビティを使用して、テキストや色、フィールド、画面の位置を取得する、キーを送信する、カーソルを移動する、特定のテキストまたはフィールドがトリガーとして表示されるまで待機する、などのアクションを実行できます。

詳細については、Terminal パッケージのセクションをご覧ください。