- リリース ノート
- 基本情報
- 管理者向け
- オートメーションを設計する
- プロジェクトを実行およびテストする
- オートメーションを管理する
- Web アプリ プロジェクト - プレビュー
- Studio Web API
UI Automation の Autopilot レコーダー
UI Automation の Autopilot レコーダーは、基本的な UI Automation シーケンスのスキャフォールディング (骨組みの生成) プロセスを大幅に高速化、簡素化することを目的とした、AI を活用したツールです。
Autopilot レコーダーを使用して UI Automation シーケンスを作成できます。自然言語のプロンプトでアクティビティを生成するか、手動でアクティビティを追加します。
条件ロジックのループの追加はサポートされていません。レコーダーで処理できるのは、事前定義された基本的な UI Automation アクティビティのみです。
[表データを抽出] はまだサポートされていません。
目的のシーケンスを作成したら、[保存] を選択します。シーケンスの実行に必要なアクティビティが、Studio Web ワークフローのキャンバスに入力されます。
UI Automation の Autopilot レコーダーにアクセスするには、次の手順を実行します。
- 既存の Studio Web プロジェクトを開くか、新しいプロジェクトを作成します。
- ワークフローに [ブラウザーを使用] アクティビティを追加します。
- [作業スコープ] で、自動化するタブをドロップダウン メニューから選択します。
- [参考スクリーンショット] ボックスの右上隅にある [Autopilot を使用して UI Automation アクティビティを生成します。] アイコン、または [生成] ボタンを選択します。[生成] ボタンは、[ブラウザーを使用] アクティビティ内にアクティビティがない場合にのみ表示されます。
- レコーダーが開きます。
レコーダーのテキスト プロンプトを使用してアクティビティを生成するには、次の手順を実行します。
- プラス記号のボタンを選択します。
-
手順 a または b のいずれかに進みます。どちらを選択しても結果は同じです。
-
- リストから [Autopilot で生成] オプションを選択します。プレースホルダーのアクティビティ カードが作成されます。
- [このページで行う操作の説明を入力します。] テキスト フィールドにテキスト プロンプトを入力してから、
Enterキーを押すか、矢印記号を選択します。作業中のタスクが正確に記述されている場合、プロンプトは最も効果的に機能します。プロンプトには、「[新規] ボタンをクリックする」のような汎用の指示ではなく、「新しいサプライヤーを作成する」や「12 月 25 日から 30 日までの休暇申請を作成する」のような指示を含めることができます。
- 検索ボックスにテキスト プロンプトを入力したら、
Enterキーを押すか、[Autopilot で生成] オプションを選択します。
-
- プロンプトからアクティビティが生成されます。レコーダーがシーケンスを生成する際に使用するアクティビティは、以下の UI Automation アクティビティのみです。
- クリック
- 文字を入力
- テキストを取得
- 項目を選択
- チェック/チェック解除
- 生成されたアクティビティがレコーダーに入力されます。アプリケーションの次のステートに移行するには、[テスト] ボタンを選択します。[テスト] ボタンを選択すると、ワン クリックで既定の設定を使用して実行が試行されます。これは、アプリケーションの次のステートに移行して、オートメーションのスキャフォールディング (骨組みの生成) を続行できるようにすることのみを目的としています。
- アプリケーションの次のステートに移行します。実行されたアクティビティには緑色のチェックマークが付きます。[テスト] を使用して既定の設定でベストエフォートの実行を試行し、何らかの理由で試行が失敗しても、アプリケーションを自由に操作して、必要なステップを手動で実行できます。プロンプトが完全に網羅されていない場合は、[「プロンプト」を続行] ボタンを選択します。
- レコーダーに新しいアクティビティが追加されます。アプリケーションの次のステートに移行するには、[テスト] ボタンを選択します。
- アプリケーションの次のステートに移行します。アプリケーションの目的のステートに到達し、プロンプト全体が網羅されるまで、[「プロンプト」を続行] と [テスト] を交互に使用できます。
レコーダーにアクティビティを手動で追加するには、次の手順を実行します。
- プラス記号のボタンを選択します。
- リストから以下の UI Automation アクティビティのいずれかを選択します。
- クリック
- 文字を入力
- テキストを取得
- 項目を選択
- チェック/チェック解除
- ホバー
- キーボード ショートカット
- スクリーンショットを作成
- 属性を取得
- マウス スクロール
- 要素を確認
- 画面上の UI 要素を選択してターゲットを指定します。
- ターゲットを一意に識別するために役立つ、ターゲットの周りにある UI 要素を選択して、アンカーを指定します。
- [確認] を選択します。
- レコーダーにアクティビティが追加されます。
| オプション | 説明 |
|---|---|
| [生成] ボタン | レコーダーを開きます。[参考スクリーンショット] ボックスの右上隅から [Autopilot を使用して UI Automation アクティビティを生成します。] アイコンを選択することもできます。 |
| プラス ボタン | 検索バーと、ドロップダウンのアクティビティ リストを開きます。 |
| アクティビティ カード | 以下を実行できます。
|
| アクティビティ カードのハンバーガー メニュー | ここには、以下のオプションが含まれます。
|
| [テスト] ボタン | 生成されたすべてのアクティビティを実行します。アプリケーションのあるステートから別のステートに移行するために、既定の設定で実行します。
注: [テスト] ボタンは Safari では使用できません。
|
| [「プロンプト」を続行] ボタン | プロンプト全体を網羅するために、レコーダー内に新しいアクティビティを生成します。 |
Delete キー
| 選択したアクティビティ カードを削除します。上級ユーザー向けのキーボード ショートカットです。確認のプロンプトは表示されません。 |
|
[Autopilot で生成] のゴミ箱ボタン | [Autopilot で生成] のプレースホルダーのアクティビティ カードを削除します。 |
Esc キー
|
Studio Web のキャンバスに戻ります。 レコーダーで変更を行った場合は、ポップアップに「選択ヘルパーで行った変更を保存しますか?」というメッセージが表示されます。以下を選択できます。
[プロパティ] パネルが開いている場合、
Esc キーを押すと、レコーダーの「アクティビティ」ビューに戻ります。
|
| [キャンセル] ボタン | 変更を保存せずに Studio Web のキャンバスに戻ります。 |
| [保存] ボタン | ワークフロー シーケンスを保存し、アクティビティを Studio Web のキャンバスに入力します。 |
| [ヘルプ (F1)] アイコン | ドキュメント ページを開きます。 |
Autopilot は、既定ですべてのユーザーに対して有効化されています。
Automation Ops のガバナンス ポリシーを使用して Autopilot 機能を無効化するには、次の 2 つの方法があります。
- Studio Web のポリシーを追加して [Autopilot を許可] オプションを [いいえ] に設定する
- AI Trust Layer のポリシーを追加して [AI Trust Layer を介したサード パーティの AI モデルへの呼び出しを有効化] トグル ボタンを無効化する
いずれかのオプションが無効化されている状態でも、UI Automation の Autopilot レコーダーを使用することはできますが、テキスト プロンプトを使用してアクティビティを生成することはできません。レコーダーで手動でアクティビティを追加することはできます。
