ScreenPlay

UiPath.Semantic.Activities.NUITask

説明

ScreenPlay は UiPath® の次世代のオートメーション エージェントであり、エージェンティックな動作とコグニティブ機能をデスクトップでも利用できるように設計されています。ScreenPlay は、人間とほぼ同じようにアプリケーションを操作します。つまり、インターフェイスをナビゲートし、変化に適応し、従来の自動化手法では実現不可能だった複雑なタスクを処理します。

詳しくは、「ScreenPlay」をご覧ください。

このアクティビティは [アプリケーション/ブラウザーを使用] アクティビティに追加する必要があります。

プロジェクトの対応 OS

Windows | クロスプラットフォーム

構成

• タスク - 実行する UI タスクを説明するプロンプトです。以下を実行できます。

  • 変数を使用します。
  • 画面から画像を (テキストと一緒にインラインで) 追加する
  • 前回の実行トレースを表示する。詳しくは、「実行して実行結果を調べる」をご覧ください。

• モデル - UiPath ScreenPlay がタスクの実行計画と推論のために使用する、基になる LLM を指定します。利用可能なオプションは [UiPath Screen Agent (Gemini 2.5 Flash を使用)] です。

  • 基本モデル
  • ブラウザーで最適に動作します。
  • ページの DOM に基づく独自の実装を使用し、推論と画像の理解に Gemini Flash を使用します。
  • 適度に速く動作します。

  UiPath Screen Agent (GPT-4.1 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 を使用します。
  • 実行速度はあまり速くありません。

  UiPath Screen Agent (GPT-4.1 mini を使用)

  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 mini を使用します。
  • 適度に速く動作します。

  UiPath Screen Agent (GPT-5 を使用)

  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 を使用します。
  • 低速

  UiPath Screen Agent (GPT-5 mini を使用)

  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 mini を使用します。
  • 適度に速く動作します。

  OpenAI - Opeartor

  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである OpenAI Operator を使用します
  • 低速

  Anthropic - Computer Use

  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである Anthropic Computer Use を使用します。
  • 低速

• このアクティビティを評価 - [良い] または [悪い]

その他のオプション

オプション

• 最大ステップ数 - ScreenPlay が目標を達成するために実行できるステップの最大数です。このプロパティは、無限のエージェンティック ループを防止するための基本的なガードレールとして使用できます。

• クリップボードで入力 - 指定したテキストの入力にクリップボードを使用するかどうかを指定します。次のオプションが利用できます。

  • なし - クリップボードを使用しません。
  • 常時 - 常にクリップボードを使用します。
  • 可能な場合 - 可能な場合はクリップボードを使用します。これは、OS と入力するテキストによって異なります (例: 特殊キーを使用すると、クリップボードは使用されません)。

• 利用可能な場合は DOM を使用 - DOM を抽出できるアプリケーションで、DOM データを使用またはLLM モデルに送信するかどうかを指定します。DOM は UiPath LAM の実装でのみ使用できます。

  DOM ベースのターゲット設定によって要素の座標が不正確になる場合は、無効化します。

  既定値は True です。

• 変数のセキュリティを無効化 - 変数のセキュリティを無効化するかどうかを指定します。変数セキュリティのため、プロンプトの指示を変数値で渡すことは不可能になっています。

  この機能はプロンプト インジェクション攻撃の防止を目的としたもので、LLM に基づいているため、「誤検知」が発生する場合は、ScreenPlay アクティビティごとに無効化できます。「誤検知」であるかどうかを判断する場合、実行トレース、システム プロンプト、推論、アクションを調べることができます。

  変数の値を使用してプロンプトの指示を渡す必要がある場合、および「誤検知」の結果が発生した場合にのみ、このオプションを有効化してください。

  既定値は [False] です。

• 入力モード - キーボードまたはマウスの入力の生成に使用するメソッドを選択します。

  • アプリ/ブラウザーと同一 - 親の [アプリケーション/ブラウザーを使用 ] アクティビティの [入力モード] の設定を使用します。
  • ハードウェア イベント - マウスの動きやキーボード ストロークなどの「ハードウェア」の入力を使用してアプリケーションを操作することにより、実際のユーザーとして動作します。これらは、オペレーティング システムに直接送信されるハードウェアによってトリガーされるイベントです。このメソッドでは動作が 100% 模倣されますが、まれに一部のイベントが失われる場合があります。開発者には、すべてのイベントが対象のアプリケーションに確実に到達するようにする責任があります。
  • Chromium API - デバッガー API を使用してアクションを実行します。これは、Chromium の要素に対してのみ動作します。すべてのテキストを一度に送信します。対象のアプリにフォーカスしていなくても動作します。詳しくは、「Chromium API」をご覧ください。
  • シミュレート - アクセシビリティ API を使用してシミュレートします。ブラウザー、Java ベースのアプリケーション、および SAP を使用する場合に推奨されます。通常はハードウェア イベントよりも信頼性が高くなります。すべてのテキストを 1 回の操作で送信します。対象のアプリにフォーカスしていなくても動作します。
  注:

  対象のアプリケーションの UI 要素がこの方法をサポートしているかどうかをテストしてください。

  • ウィンドウ メッセージ - Win32 メッセージを使用してシミュレートします。デスクトップ アプリに適しています。通常はハードウェア イベントよりも信頼性が高くなります。すべてのテキストを一度に送信します。対象のアプリにフォーカスしていなくても動作します。
  注:

  対象のアプリケーションの UI 要素がこの方法をサポートしているかどうかをテストしてください。

• エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは Boolean 値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。

タイミング

• 実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
• 実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。
• タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。

出力

• 結果 - タスクの結果です (存在する場合)。現在は、String 型の出力のみをサポートしています。