UIP トレースのフィードバック

「uip traces feedback」の構文とオプション。トレースまたはスパンにアタッチされた LLM のオブザーバビリティのフィードバックを作成および管理します。

uip traces feedback は、LLM のオブザーバビリティのフィードバック (トレースまたはスパンにアタッチされた肯定的/否定的な評価、コメント、カテゴリ タグ) を管理します。エージェントの出力の人間による確認を記録したり、記録されたフィードバックをレポート用に取り戻したりするために使用します。

このページは uip traces ツールの一部です。spans getについては、対応するページをご覧ください。

概要

uip traces feedback create --trace-id <id> (--positive | --negative) --folder-key <guid> [--span-id <id>] [--comment <text> | --comment-file <path>] [--category <tag>...] [--agent-id <guid>] [--agent-version <str>]
uip traces feedback get <id> [--folder-key <guid>]
uip traces feedback list [--agent-id <guid>] [--agent-version <str>] [--trace-id <id>] [--span-id <id>] [--status <value>...] [--positive | --negative] [--limit <n>] [--offset <n>] [--folder-key <guid>]
uip traces feedback list detailed [--agent-id <guid>] [--agent-version <str>] [--trace-id <id>] [--span-id <id>] [--status <value>...] [--positive | --negative] [--category-id <guid>...] [--after <iso> | --since <duration>] [--before <iso>] [--sort-by <field>] [--sort-order <dir>] [--limit <n>] [--offset <n>] [--folder-key <guid>]
uip traces feedback update <id> (--positive | --negative) --folder-key <guid> [--comment <text> | --comment-file <path>] [--metadata <json> | --metadata-file <path>] [--category <tag>...]
uip traces feedback delete <id> --folder-key <guid> -y

すべての動詞は、 グローバル オプション と標準の 終了コードを尊重します。

UIP トレース フィードバックの作成

トレース (またはその中の特定の範囲) に対するフィードバックを作成します。

オプション

フラグ	説明
--trace-id <id>	必須。トレース ID (32 文字の 16 進数または GUID)。
--positive / --negative	必須 — ちょうど 1 つ。フィードバックの感情。
--folder-key <guid>	必須。Orchestrator のフォルダー キー。
--span-id <id>	スパン ID省略すると、既定でトレースのルート スパンが使用されます。
--comment <text>	フリーテキストによる注釈 (最大 1,048,576 文字)。--comment-fileと相互に排他的です。
--comment-file <path>	ファイルからコメントを読み取るstdinから読み取る - 渡します。--commentと相互に排他的です。
--category <tag>	カテゴリ タグ。繰り返し可能。このプラットフォームでは、 Output、 Agent Error、 Agent Plan Executionなどの組み込みタグが認識されますが、任意の文字列を受け入れることができます。
--agent-id <guid>	エージェント参照 ID。
--agent-version <str>	エージェントのバージョンです (最大 100 文字)。

例

uip traces feedback create \
  --trace-id 4bf92f3577b34da6a3ce929d0e0e4736 \
  --positive \
  --folder-key a1b2c3d4-0000-0000-0000-000000000001

データシェイプ

{
  "Code": "FeedbackCreate",
  "Data": { "Id": "a1b2c3d4-0000-0000-0000-000000000002" }
}

Data は、フィードバック API が返すものを変更せずにパススルーするものです。CLI はそれを固定されたフィールド セットに投影しないため、実際の応答にはここに表示されているよりも多くのフィールドが含まれる可能性があります。

UIP トレースのフィードバックの取得

ID で 1 つのフィードバック レコードを取得します。

引数

• <id> (必須) — フィードバック レコード ID (GUID) です。GUID でない場合は、「フィードバック ID の形式が無効です」というエラーでクライアント側で失敗します。

オプション

フラグ	説明
--folder-key <guid>	Orchestrator のフォルダー キー。CLI がクライアント側でハードフェイルしない場合でも、サーバーは通常、読み取りを承認するためにこれを必要とします。

例

uip traces feedback get a1b2c3d4-0000-0000-0000-000000000002 \
  --folder-key a1b2c3d4-0000-0000-0000-000000000001

データシェイプ

{
  "Code": "FeedbackGet",
  "Data": {
    "Id": "a1b2c3d4-0000-0000-0000-000000000002",
    "IsPositive": true
  }
}

createと同様に、Data は生のパススルーです。実際の応答には通常、この最小限の例で示すよりも多くのフィールド (コメント、メタデータ、カテゴリ、タイムスタンプ) が含まれます。

UIP トレースのフィードバック リスト

トレース、スパン、エージェント、ステータス、または感情でフィルター処理したフィードバック エントリのリストを表示します。

オプション

フラグ	説明
--agent-id <guid>	エージェント ID でフィルター処理します。
--agent-version <str>	エージェントのバージョンでフィルター処理します。
--trace-id <id>	トレース ID でフィルター処理します。
--span-id <id>	スパン ID でフィルター処理する。
--status <value>	ステータスでフィルター処理します: Pending、 Approved、 Dismissed。繰り返し可能。
--positive / --negative	ポジティブなフィードバックのみまたはネガティブなフィードバックのみを返します。相互に排他的です。
--limit <n>	最大結果。既定値は 20で、上限は 100です。
--offset <n>	スキップする結果。既定値は 0です。
--folder-key <guid>	Orchestrator のフォルダー キー。

例

uip traces feedback list --trace-id 4bf92f3577b34da6a3ce929d0e0e4736

データシェイプ

{
  "Code": "FeedbackList",
  "Data": [
    {
      "Id": "a1b2c3d4-0000-0000-0000-000000000002",
      "IsPositive": true
    }
  ]
}

空の結果には「フィードバックが見つかりませんでした。フィードバックを追加するには、「uip traces feedback create」を使用してください。」

詳細な UIP トレースのフィードバック リスト

拡張フィルター (タイム ウィンドウ、カテゴリ、並べ替え) とスパンのコンテキストを使用してフィードバックを一覧表示します。これは listのサブコマンドであり、最上位の動詞ではありません — 呼び出しは uip traces feedback list detailedで、list-detailedではなくスペースです。

オプション

フラグ	説明
--agent-id <guid>	エージェント ID でフィルター処理します。
--agent-version <str>	エージェントのバージョンでフィルター処理します。
--trace-id <id>	トレース ID でフィルター処理します。
--span-id <id>	スパン ID でフィルター処理する。
--status <value>	ステータスでフィルター処理します: Pending、 Approved、 Dismissed。繰り返し可能。
--positive / --negative	ポジティブなフィードバックのみまたはネガティブなフィードバックのみを返します。相互に排他的です。
--category-id <guid>	カテゴリ ID でフィルター処理します。繰り返し可能。
--after <iso>	この ISO 8601 タイムスタンプの後に作成されます。
--before <iso>	この ISO 8601 タイムスタンプより前に作成されます。
--since <duration>	--after の相対ルックバックの省略形です (例: 1h、24h、7d)。h (時間) 単位と d (日) 単位のみ使用できます。
--sort-by <field>	並べ替えフィールド: [ createdAt ] または [ updatedAt] です。既定値は createdAtです。
--sort-order <dir>	並べ替えの方向 ( asc または descです。既定値は descです。
--limit <n>	最大結果。既定値は 20で、上限は 200 です (プレーン listの上限である 100 よりも高い)。
--offset <n>	スキップする結果。既定値は 0です。
--folder-key <guid>	Orchestrator のフォルダー キー。

注:

--since と --after はどちらも同じ開始時刻フィルターを設定します。 --since は、コマンドの実行時に「now」を基準にして評価されます。

例

uip traces feedback list detailed --since 24h

データシェイプ

{
  "Code": "FeedbackListDetailed",
  "Data": [
    {
      "Id": "a1b2c3d4-0000-0000-0000-000000000002",
      "IsPositive": true,
      "TraceId": "4bf92f3577b34da6a3ce929d0e0e4736"
    }
  ]
}

基になる API 応答はページ分割されています ({ items, totalCount }ですが、CLI は Dataitems 配列を としてのみ出力します。一致の合計数 (totalCount) は表示されません。--limitを超える結果が存在するかどうかを知るには、合計に頼るのではなく、返された数を --limit と比較してください。

UIP トレースへのフィードバックの更新

既存のフィードバック レコードの感情、コメント、メタデータ、またはカテゴリを更新します。

重要:

API はレコード全体にパッチを適用するのではなく、レコード全体を置き換えるため、CLI は既存のレコードを最初に読み取り、渡さなかったフィールドを継承します ( --categoryを除きます。省略すると既存のカテゴリは変更されませんが、この読み取りから書き込みはアトミックではありません。読み取りと書き込みの間の同時編集ランディングは、通知なしに失われます。

引数

• <id> (必須) — フィードバック レコード ID (GUID) です。

オプション

フラグ	説明
--positive / --negative	必須 — ちょうど 1 つ。新しい感情。
--folder-key <guid>	必須。Orchestrator のフォルダー キー。
--comment <text>	コメントを更新しました (最大 1,048,576 文字)。--comment-fileと相互に排他的です。省略して、既存のコメントを保持します。
--comment-file <path>	更新されたコメントをファイルから読み取ります。stdin の - を渡します。--commentと相互に排他的です。
--metadata <json>	メタデータが更新されました。有効な JSON (最大 1,048,576 文字) である必要があります。--metadata-fileと相互に排他的です。省略して、既存のメタデータを保持します。
--metadata-file <path>	ファイルから更新されたメタデータを読み取るstdin の - を渡します。--metadataと相互に排他的です。
--category <tag>	置換カテゴリ タグ。繰り返し可能。既存のカテゴリはそのままにしておくには、完全に省略します — 渡すと完全なセットが置き換えられ、マージされません。

例

# change sentiment and add a comment
uip traces feedback update a1b2c3d4-0000-0000-0000-000000000002 \
  --negative \
  --comment "Wrong output" \
  --folder-key a1b2c3d4-0000-0000-0000-000000000001

# attach metadata read from a file
uip traces feedback update a1b2c3d4-0000-0000-0000-000000000002 \
  --positive \
  --metadata-file review.json \
  --folder-key a1b2c3d4-0000-0000-0000-000000000001

データシェイプ

{
  "Code": "FeedbackUpdate",
  "Data": {
    "Id": "a1b2c3d4-0000-0000-0000-000000000002",
    "IsPositive": false
  }
}

UIP トレース フィードバックの削除

フィードバック レコードを ID で削除します。これは 破壊的な 操作であり、 -y, --yesが必要です。CLI はプロンプトを表示しません。

引数

• <id> (必須) — フィードバック レコード ID (GUID) です。

オプション

フラグ	説明
--folder-key <guid>	必須。Orchestrator のフォルダー キー。
-y, --yes	この元に戻せない操作を確認します。必須 — CLI はプロンプトを表示しません。

例

uip traces feedback delete a1b2c3d4-0000-0000-0000-000000000002 \
  --folder-key a1b2c3d4-0000-0000-0000-000000000001 \
  --yes

データシェイプ

{
  "Code": "FeedbackDelete",
  "Data": { "Id": "a1b2c3d4-0000-0000-0000-000000000002" }
}

エラー動作

• フィードバック API から401 Failure: "Not authenticated. Run 'uip auth login' first."です。
• 403: Failure: "Insufficient permissions. Ensure you have Logs.View / Logs.Create / Logs.Delete on this folder.".
• 404: Failure 不足しているフィードバック ID に名前を付けます。
• GUID ではない ID (get、 update、 delete): Failure: "Invalid feedback ID format: <id>"、ネットワーク呼び出しの前にクライアント側で確認されます。

関連

• uip traces spans get — 上記で使用した--trace-id/--span-id値のソースです。
• ツール (プラグイン) — traces-tool パッケージをインストール、更新、アンインストールします。
• uip login — このページのすべての動詞の認証に使用されるセッションです。

参照

• uip traces