実行して実行結果を調べる

ScreenPlay のプロンプトを設定したら、以下の手順に従います。

1. オートメーションをデバッグ モードで実行します。
2. 実行が完了したら、エージェントがプロンプトをどのように解釈して実行したかを確認できます。
   • Studio で [デバッグ] に移動して [ログを開く] を選択します。
   • ScreenPlay フォルダを開きます。
   • 最新の .html ファイルを調べます。

各 HTML ファイルには、ScreenPlay エージェントがプロンプトについてどのように推論して UI ターゲットを識別し、各アクションを実行したかが詳しく記録された実行トレースが含まれています。このトレースによって意思決定プロセスが可視化され、ScreenPlay の動作を検証またはトラブルシューティングしやすくなります。

ScreenPlay の実行トレースの HTML ファイル

ScreenPlay の実行トレースの HTML ファイルは、ScreenPlay オートメーションの実行を網羅した視覚的な診断レコードを提供します。このファイルには、プロンプトの入力、AI の推論、画面上のアクション、タイミングのメトリックが、構造化された対話型の形式でキャプチャされます。

このファイルを使用して、ScreenPlay がプロンプトをどのように解釈して、どの UI 要素をターゲットとし、各オートメーション ステップがインターフェイス上でどのように実行されたかを調べて検証できます。

このファイルは既定で自動的に生成されます。この設定を変更するには、[プロジェクト設定] を選択してから、[UI Automation モダン] を選択して [ScreenPlay] に移動します。ここで、トレース ファイルの保存日数を設定することもできます。

概要

ScreenPlay オートメーションを実行すると、実行トレースが .html ファイルとして自動的に生成されます。このファイルには以下が結合されています。

• 自然言語プロンプトのデータ
• ステップバイステップの UI のスナップショットと境界ボックス
• タイミングとトークンのメトリック
• 推論とエラーに関する診断セクション

この HTML ファイルを最新の Web ブラウザーで開いて、完全な実行シーケンスを確認または共有できます。

ファイルの構造

ScreenPlay の各トレース ファイルは一貫した内部構造に従っており、以下の最上位レベルのセクションがあります。

セクション	説明
ヘッダー	実行のプロンプト、トレース ID、およびタイムスタンプが表示されます。
総合的なメトリック (総計)	合計実行時間、処理時間、およびトークンの使用状況を要約します。
プレイヤー コンテナ	視覚的な再生コンポーネント (スクリーンショット、強調表示、ステップ ナビゲーション) が含まれます。
反復処理ブロック	エージェントの推論または実行サイクルにおける各反復処理 (ステップ) です。スクリーンショット、推論、メトリックが含まれます。
診断セクション	AI による推論、アクティビティのデータ、エラー メッセージが表示される任意のパネルです。

ヘッダー フィールド

次の表で、ヘッダー フィールドと例について説明します。

フィールド	例	説明
プロンプト	create a random RPA supplier	オートメーションを開始した自然言語の指示です。
Trace ID	3b97584d-7fc0-43f6-830b-fc45c21811b3	この実行トレースの一意の識別子です。参照や比較に使用します。

総合的なメトリック

総計セクションには、実行の主要なパフォーマンス データが要約されます。

次の表で、総合的なメトリックについて説明します。

メトリック	説明
合計時間	実行を完了するのにかかった合計時間です。認識、推論、アクションのフェーズを含みます。
キャッシュ / DOM / サーバー / アクション (ツールチップ)	各サブシステム内での経過時間の内訳です (キャッシュされた応答、DOM のスキャン、推論、UI アクションなど)。
トークンの合計数	トレースに AI 言語モデルによる推論が含まれる場合に、トークンの入力/出力を追跡します。LLM の使用量をデバッグするのに役立ちます。

ステップ フレーム

各ステップ フレーム (実行ステップ) は、ScreenPlay エージェントによる推論とアクションの 1 回の反復処理を表します。

次の表で、各要素とその目的について説明します。

要素	目的
ステップ番号 (data-step="1")	ステップのシーケンス順序を識別します。
スクリーンショット	実行時にキャプチャされたアプリケーション ウィンドウまたはデスクトップの画像です。
キャンバスの座標 (data-coordinates)	検出または操作された要素を表す、JSON エンコード形式の境界ボックスです。
反復処理ヘッダー	ステップのタイトル、推論のプレビュー、および実行時間の概要を表示します。
反復処理の内容	推論テキストや実行のメタデータなど、展開された詳細が含まれます。

診断セクション

各反復処理には、次の表に示す展開可能なセクションが 1 つ以上含まれる場合があります。

セクション名	目的
思考	AI による推論と意図の解釈が表示されます (推論が有効化されている場合)。
ステップの情報	ターゲットの要素、セレクター、または検出された UI コントロールに関するコンテキスト情報が表示されます。
Error	障害を示し、視覚的な手掛かりが赤で示されます。エラー メッセージ、例外トレース、またはフォールバック アクションが含まれます。
アクティビティのデータ	アクティビティの種類、引数、対象のアプリケーションなど、構造化された実行データが表示されます。

スクリーンショット ビューアーとプレイヤーのコントロール

ScreenPlay のトレースには、キャプチャされた各フレームを移動するための組み込みのプレイヤーが含まれています。

次の表で、各コントロールについて説明します。

制御	説明
[次へ] / [前へ] ボタン	連続するステップ間を移動します。
ステップ範囲スライダー	シーケンス内の特定のステップに直接ジャンプします。
強調表示の切り替え	data-coordinates フィールドで定義された境界ボックスがオーバーレイとして表示され、クリックされたか文字が入力された領域が視覚化されます。
スクリーンショットの対象範囲	レンダリングされた画像、または画像が利用可能ではない場合はプレースホルダーが表示されます。

視覚的なオーバーレイ

各ステップには、以下のような UI 操作の種類を示すオーバーレイが含まれる可能性があります。

• クリック – ボタンまたはクリック可能な領域に四角形が描画されます。
• 入力 – 入力フィールドを囲むように強調表示されます。
• ホバー/ドラッグ – 移動またはカーソルの位置を示すアウトラインが表示されます。
• エラー マーカー – 失敗した要素アクションに赤いオーバーレイが表示されます。