ScreenPlay

UiPath.Semantic.Activities.NUITask

説明

ScreenPlay は UiPath® の次世代のオートメーション エージェントであり、エージェンティックな動作とコグニティブ機能をデスクトップでも利用できるように設計されています。ScreenPlay は、人間とほぼ同じようにアプリケーションを操作します。つまり、インターフェイスをナビゲートし、変化に適応し、従来の自動化手法では実現不可能だった複雑なタスクを処理します。

詳しくは、「ScreenPlay」をご覧ください。

このアクティビティは [アプリケーション/ブラウザーを使用] アクティビティに追加する必要があります。

プロジェクトの対応 OS

Windows | クロスプラットフォーム

構成

• Task - Prompt describing the UI task to be performed, with the ability to:
  • Use Variables
  • Add image from screen (inline with the text)
  • View last execution trace. For more details, see the Running and inspecting the execution results page.

• Model - Indicates the underlying LLM used by ScreenPlay for task execution planning and reasoning. The following options are available:

  UiPath (Gemini 2.5 Flash を使用)

  • 基本モデル
  • ブラウザーで最適に動作します。
  • ページの DOM に基づく独自の実装を使用し、推論と画像の理解に Gemini Flash を使用します。
  • 適度に速く動作します。
  UiPath (GPT-4.1 を使用)
  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 を使用します。
  • 実行速度はあまり速くありません。
  UiPath (GPT-4.1 mini を使用)
  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-4.1 mini を使用します。
  • 適度に速く動作します。
  UiPath (GPT-5 を使用)
  • 標準モデル - 複雑なタスク向けです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 を使用します。
  • 低速
  UiPath (GPT-5 mini を使用)
  • 処理スピードがより速く、より安価な基本モデルです。
  • ブラウザーで最適に動作します。
  • ページの DOM と画像理解に基づく独自の実装を使用し、推論に GPT-5 mini を使用します。
  • 適度に速く動作します。
  OpenAI - Opeartor
  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである OpenAI Operator を使用します。最良のオプションと考えられます。
  • 低速
  Anthropic - Computer Use
  • 標準モデル - 複雑なタスク向けです。
  • 画像ベースのインターフェイスなど、あらゆるタイプのアプリケーションで動作します。
  • 画像ベースの推論モデルである Anthropic Computer Use を使用します。
  • 低速
• Rate this activity - Good or Poor

その他のオプション

オプション

• Max number of steps - This is the maximum number of steps that ScreenPlay can take to achieve its goal. The property can be used as a basic guardrail to prevent infinite agentic loops.
• Type by clipboard - Indicates whether the clipboard is used to type the given text. The following options are available:
  • なし - クリップボードを使用しません。
  • 常時 - 常にクリップボードを使用します。
  • 可能な場合 - 可能な場合はクリップボードを使用します。これは、OS と入力するテキストによって異なります (例: 特殊キーを使用すると、クリップボードは使用されません)。

• Use DOM when available - Indicates whether DOM data will be used/sent to the LLM Model for applications where DOM can be extracted.

  DOM を使用できるのは UiPath LAM の実装のみです。

  DOM ベースのターゲット設定によって要素の座標が不正確になる場合は、無効化します。

  Default value is True.

• Disable variable security - Indicates whether the variable security should be disabled.

  Variable security ensures that prompt instructions can not be passed via variable values.

  The purpose of this feature is to prevent prompt injection attacks and is based on LLM, so if a "false positive" occurs, the user can disable it for each ScreenPlay activity. To conclude if it is a "false positive", the user can inspect the execution trace, system prompt, reasoning, and actions.

  Enable this option only if you need to pass prompt instructions via variable values or if a "false positive" result occurred.

  Default value is False.

• Input mode - Select which method should be used to generate keyboard and mouse input:
  • Same as App/Browser - Uses the Input mode settings from the parent Use Application/Browser activity.
  • ハードウェア イベント - マウスの動きやキーボード ストロークなどの「ハードウェア」の入力を使用してアプリケーションを操作することにより、実際のユーザーとして動作します。これらは、オペレーティング システムに直接送信されるハードウェアによってトリガーされるイベントです。このメソッドでは動作が 100% 模倣されますが、まれに一部のイベントが失われる場合があります。開発者には、すべてのイベントが対象のアプリケーションに確実に到達するようにする責任があります。
  • Chromium API - デバッガー API を使用してアクションを実行します。これは、Chromium の要素に対してのみ動作します。すべてのテキストを一度に送信します。対象のアプリにフォーカスしていなくても動作します。詳しくは、「Chromium API」をご覧ください。
  • シミュレート - アクセシビリティ API を使用してシミュレートします。ブラウザー、Java ベースのアプリケーション、および SAP を使用する場合に推奨されます。通常はハードウェア イベントよりも信頼性が高くなります。すべてのテキストを 1 回の操作で送信します。対象のアプリにフォーカスしていなくても動作します。対象のアプリケーションの UI 要素がこの方法をサポートしているかどうかをテストしてください。
  • Window messages - Simulates using Win32 messages. Recommended for desktop apps. Usually more reliable than Hardware Events. Sends all text in one go. Works even if target app is not in focus. Please test if your target application UI element supports this.

• エラー発生時に実行を継続 - アクティビティでエラーが発生した場合でも、オートメーションを継続するかどうかを指定します。このフィールドでは、Boolean 値 (True、False) のみがサポートされています。既定値は False です。そのため、フィールドが空白でエラーが発生すると、プロジェクトの実行が停止します。値を True に設定すると、プロジェクトの実行はエラーに関係なく継続されます。

タイミング

• 実行前の待機時間 - 前のアクティビティが完了してから、現在のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.2 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。

• 実行後の待機時間 - 現在のアクティビティが完了してから、次のアクティビティが何らかの操作を開始するまでの遅延時間を秒単位で指定します。既定値は 0.3 秒です。アクティビティとアクティビティの間に遅延を追加すると、次のアクティビティを開始する前に、現在のアクティビティを確実に終了できる時間を確保できます。

• タイムアウト - エラーを発生させる前にアクティビティの実行を待機する時間を秒単位で指定します。既定値は 30 秒です。

出力

• Result - The result of the task, if any. For now we only support String output.