ScreenPlay

UiPath.Semantic.Activities.NUITask

説明

ScreenPlay は UiPath® の次世代のオートメーション エージェントであり、エージェンティックな動作とコグニティブ機能をデスクトップでも利用できるように設計されています。ScreenPlay は、人間とほぼ同じようにアプリケーションを操作します。つまり、インターフェイスをナビゲートし、変化に適応し、従来の自動化手法では実現不可能だった複雑なタスクを処理します。

詳しくは、「ScreenPlay」をご覧ください。

このアクティビティは [アプリケーション/ブラウザーを使用] アクティビティに追加する必要があります。

プロジェクトの対応 OS

Windows | クロスプラットフォーム

構成

• タスク - 実行する UI タスクを説明するプロンプトです。以下を実行できます。

  • 変数を使用
  • ファイルを添付
  • 画面から画像を追加 (テキストと一緒にインライン)
  • 最後の実行のトレースを表示します。詳しくは、「実行を実行して実行結果を検査する」をご覧ください

• モデル - UiPath ScreenPlay がタスクの実行計画と推論のために使用する、基になる LLM を指定します。次のオプションが利用できます。

  Screen Agent (Gemini 2.5 Flash を使用)

  • 基本モデル
  • ブラウザーで最適に動作します。
  • ページの DOM に基づく独自の実装を使用し、推論と画像の理解に Gemini Flash を使用します。
  • 適度に速く動作します。

  Screen Agent (Gemini 3.0 Flash Preview を使用)

  • 基本モデル
  • ブラウザーで最適に動作します。
  • ページの DOM に基づく独自の実装を使用し、推論と画像の理解に Gemini Flash を使用します。
  • 適度に速く動作します。

  Screen Agent (GPT-4.1 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 を使用します。
  • 実行速度はあまり速くありません。

  Screen Agent (GPT-4.1 mini を使用)

  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 mini を使用します。
  • 適度に速く動作します。

  Screen Agent (GPT-5 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 を使用します。
  • 低速

  Screen Agent (GPT-5 mini を使用)

  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 mini を使用します。
  • 適度に速く動作します。

  Screen Agent (GPT-5.4 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5.4 を使用します
  • 低速

  Screen Agent (GPT-5.4 mini を使用)

  • 処理スピードがより速く、より安価な基本モデルです。
  • GPT-5.4 を使用して、ページの DOM と画像理解に基づく独自の実装を使用します推論のためのミニ
  • 適度に速く動作します。

  Screen Agent (GPT-5.5 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5.5 を使用します
  • 低速

  Screen Agent (Path Mini を使用)

  • 基本モデル
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に Path Mini を使用します
  • 適度に速く動作します。

  OpenAI - Opeartor

  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである OpenAI Operator を使用します
  • 低速

  Anthropic - Computer Use

  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである Anthropic Computer Use を使用します。
  • 低速

• このアクティビティを評価 - [良い] または [悪い]

その他のオプション

オプション

• 最大ステップ数 - ScreenPlay が目標を達成するために実行できるステップの最大数です。このプロパティは、無限のエージェンティック ループを防止するための基本的なガードレールとして使用できます。

• ジョブのアタッチ モード (トレース.html) - トレース (.html) をジョブにアタッチするタイミングを指定します。トレース ファイルは、ScreenPlay プロジェクト設定に従って生成されます。ジョブのアタッチ機能は、Orchestrator と Robot のバージョンによって異なります。次のオプションが利用できます。

  • 失敗時 - 失敗した場合にのみトレースをジョブにアタッチします。
  • 常時 - 常にトレースをジョブにアタッチします。
  • なし - ジョブにトレースをアタッチしません。

• 利用可能な場合は DOM を使用 - DOM を抽出できるアプリケーションで、DOM データを使用またはLLM モデルに送信するかどうかを指定します。DOM は UiPath LAM の実装でのみ使用できます。

  DOM ベースのターゲット設定によって要素の座標が不正確になる場合は、無効化します。

  既定値は True です。

• 変数のセキュリティを無効化 - 変数のセキュリティを無効化するかどうかを指定します。変数セキュリティのため、プロンプトの指示を変数値で渡すことは不可能になっています。

  この機能はプロンプト インジェクション攻撃の防止を目的としたもので、LLM に基づいているため、「誤検知」が発生する場合は、ScreenPlay アクティビティごとに無効化できます。「誤検知」であるかどうかを判断する場合、実行トレース、システム プロンプト、推論、アクションを調べることができます。

  変数の値を使用してプロンプトの指示を渡す必要がある場合、および「誤検知」の結果が発生した場合にのみ、このオプションを有効化してください。

  既定値は [False] です。

• 入力モード - キーボードまたはマウスの入力の生成に使用するメソッドを選択します。

  • アプリ/ブラウザーと同一 - 親の [アプリケーション/ブラウザーを使用 ] アクティビティの [入力モード] の設定を使用します。
  • ハードウェア イベント - マウスの動きやキーボード ストロークなどの「ハードウェア」の入力を使用してアプリケーションを操作することにより、実際のユーザーとして動作します。これらは、オペレーティング システムに直接送信されるハードウェアによってトリガーされるイベントです。このメソッドでは動作が 100% 模倣されますが、まれに一部のイベントが失われる場合があります。開発者には、すべてのイベントが対象のアプリケーションに確実に到達するようにする責任があります。
  • Chromium API - デバッガー API を使用してアクションを実行します。これは、Chromium の要素に対してのみ動作します。すべてのテキストを一度に送信します。対象のアプリにフォーカスしていなくても動作します。詳しくは、「Chromium API」をご覧ください。
  • シミュレート - アクセシビリティ API を使用してシミュレートします。ブラウザー、Java ベースのアプリケーション、および SAP を使用する場合に推奨されます。通常はハードウェア イベントよりも信頼性が高くなります。すべてのテキストを 1 回の操作で送信します。対象のアプリにフォーカスしていなくても動作します。
  注:

  対象のアプリケーションの UI 要素がこの方法をサポートしているかどうかをテストしてください。

  • ウィンドウ メッセージ - Win32 メッセージを使用してシミュレートします。デスクトップ アプリに適しています。通常はハードウェア イベントよりも信頼性が高くなります。すべてのテキストを一度に送信します。対象のアプリにフォーカスしていなくても動作します。
  注:

  対象のアプリケーションの UI 要素がこの方法をサポートしているかどうかをテストしてください。

• エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは Boolean 値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。

オプション - UI アクション

• フィールド内を削除 - DOM が有効で使用されている場合に、UI への入力 操作に適用されます。
  テキストの入力前に text-field の既存の内容をクリアするかどうかと、フィールド内を削除する方法を指定します。単一行のフィールドと複数行のフィールドの間で異なるキーストロークの組み合わせを送信して、フィールド内を削除します。指定したフィールドに応じて、適切なオプションを選択してください。以下のオプションを利用できます。

  • なし - 既存のコンテンツを削除しません。
  • 単一行 (End、Shift+Home、Del) - 単一行のテキスト フィールドからコンテンツを削除します。これは既定のオプションです。
  • 複数行 (Ctrl + A、Del) - 複数行のテキスト フィールドからコンテンツを削除します。

• キー間の待機時間 - [文字を入力] および [キーボード ショートカット ] の UI アクションに適用されます。
  2 つの連続するキーストローク間の待機時間 (秒単位) です。最大値は 1 秒です。

• カーソルの動きの種類 - 入力メソッドが [ ハードウェア イベント ] に設定されている場合に使用し、 クリック、 ホバー、 マウス スクロールなどのマウスの移動が必要な UI アクションに適用されます
  マウス カーソルにより実行される動きの種類を指定します。次の 2 つの利用可能なオプションがあります。

  • Instant - カーソルは要素にジャンプします。
  • Smooth - カーソルは要素まで滑らかに移動します。

  既定値は、ハードウェア イベントを使用する場合は [スムーズ] で、それ以外の場合は [インスタント] です。

• クリップボードで入力 - UI アクションへの 入力 に適用されます。
  指定したテキストの入力にクリップボードを使用するかどうかを指定します。次のオプションが利用できます。

  • なし - クリップボードを使用しません。
  • 常時 - 常にクリップボードを使用します。
  • 可能な場合は常に - 可能な場合はクリップボードを使用します。これは、OS と入力するテキストによって異なります (たとえば、特殊キーを使用すると、クリップボードは使用されません)

• アクティブ化 - クリック、 文字を入力、 キーボード ショートカットの UI アクションに適用されます。
  操作する前に UI 要素をフォアグラウンドに移動し、アクティブ化します。

タイミング

• 実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
• 実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
• タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。

出力

• 結果 - タスクの結果です (存在する場合)。現在は、String 型の出力のみをサポートしています。
• トレース ファイル - 現在の [ScreenPlay] アクティビティによって生成されるトレース ファイルです。トレース ファイルは、ScreenPlay プロジェクト設定に従って生成されます。