évaluation d’agent uip

uip agent eval est le groupe de commandes d'évaluation. Il gère les évaluateurs, les ensembles d’évaluation et les cas de test sur disque, et exécute les exécutions d’évaluation par rapport au service Agent Runtime. Quatre arborescences de sous-commandes se trouvent en dessous:

• uip agent eval evaluator … — gérez les évaluateurs (evals/evaluators/*.json).
• uip agent eval set … — gérez les ensembles d'évaluation (evals/eval-sets/*.json).
• uip agent eval add | list | remove — gérez les cas de test (évaluations) au sein d'un ensemble d'évaluation.
• uip agent eval run … — démarrer, surveiller, répertorier et comparer les exécutions d'évaluation par rapport au service Agent Runtime.

Tout, à l’exception de uip agent eval run * est local uniquement. Les sous-commandes run nécessitent une session CLI active (uip login) et que l'agent ait déjà été transmis à Studio Web (via uip agent push) ou que vous transmettez --solution-id explicitement.

Toutes les sous-commandes uip agent eval respectent les options globales (--output, --output-filter, --log-level, --log-file). Les codes de sortie suivent le contrat standard.

Synthèse

uip agent eval evaluator add    <name> --type <type> [--description <d>] [--prompt <p>] [--target-key <k>] [--path <dir>]
uip agent eval evaluator list                                                                                 [--path <dir>]
uip agent eval evaluator remove <id>                                                                           [--path <dir>]

uip agent eval set add    <name>  [--evaluators <ids>]                                                         [--path <dir>]
uip agent eval set list                                                                                         [--path <dir>]
uip agent eval set remove <id>                                                                                  [--path <dir>]

uip agent eval add    <name> --set <name> --inputs <json>
                              [--expected <json>] [--expected-agent-behavior <text>]
                              [--simulation-instructions <text>]
                              [--simulate-input] [--simulate-tools]
                              [--input-generation-instructions <text>]
                              [--path <dir>]
uip agent eval list   --set <name>                                                                              [--path <dir>]
uip agent eval remove <id> --set <name>                                                                         [--path <dir>]

uip agent eval run start   --set <name> [--solution-id <id>] [--wait] [--timeout <s>]                           [--path <dir>]
uip agent eval run status  <evalSetRunId> --set <name>                                                          [--path <dir>]
uip agent eval run results <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>] [--path <dir>]
uip agent eval run list    --set <name>                                                                         [--path <dir>]
uip agent eval run compare <evalSetRunId> --compare-to <id> --set <name>                                        [--path <dir>]

Évaluateur d’évaluation d’agent UIP

Gérer les évaluateurs — les évaluateurs qui notent la sortie d’un agent.

ajouter un évaluateur d’évaluation

Arguments

• <name> (obligatoire) : nom de l’évaluateur. Utilisé comme nom de fichier par défaut.

Options

Drapeau	Default	Requis	Objectif
--type <type>	—	oui	Type d'évaluateur. Les valeurs connues incluent SemanticSimilarity, Trajectory et LLM-as-judge; exécutez uip agent eval evaluator add --help pour obtenir la liste complète prise en charge par votre installation.
--description <desc>	—		Description en texte libre.
--prompt <prompt>	—		Invite d’évaluation personnalisée (pour les évaluateurs basés sur des invites).
--target-key <key>	—		Clé de sortie cible par rapport à laquelle évaluer.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval evaluator add content-check \
  --type SemanticSimilarity \
  --path ./my-agent

Data shape (--output json)

{
  "Code": "AgentEvaluatorAdd",
  "Data": {
    "Status": "Evaluator added",
    "Name": "content-check",
    "Type": "SemanticSimilarity",
    "Id": "a1b2c3d4-0000-0000-0000-000000000130",
    "File": "content-check.json"
  }
}

liste des évaluateurs d’évaluation

Options

• --path <path> (default .)

Format des données

{
  "Code": "AgentEvaluatorList",
  "Data": [
    { "Name": "content-check", "Type": "SemanticSimilarity", "Id": "…", "File": "content-check.json" }
  ]
}

Les projets vides renvoient Data: { "Message": "No evaluators configured" }.

Suppression de l’évaluateur d’évaluation

Arguments

• <id> — evaluator ID or name.

Options

• --path <path> (default .)

Format des données

{ "Code": "AgentEvaluatorRemove", "Data": { "Status": "Evaluator removed", "Id": "content-check" } }

ensemble d’évaluation d’agent UiP

Gérer les ensembles d’évaluation — les collections nommées de cas de test plus les évaluateurs qui doivent les noter.

Ajouter un ensemble d'évaluation

Arguments

• <name> — evaluation-set name.

Options

Drapeau	Default	Objectif
--evaluators <ids>	tous les évaluateurs du projet	ID d'évaluateur séparés par des virgules à inclure.
--path <path>	.	Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval set add smoke-tests \
  --evaluators a1b2c3d4-0000-0000-0000-000000000130,a1b2c3d4-0000-0000-0000-000000000131 \
  --path ./my-agent

Format des données

{
  "Code": "AgentEvalSetAdd",
  "Data": {
    "Status": "Evaluation set created",
    "Name": "smoke-tests",
    "Id": "a1b2c3d4-0000-0000-0000-000000000110",
    "Evaluators": 2
  }
}

liste des ensembles d’évaluation

Options

• --path <path> (default .)

Format des données

{
  "Code": "AgentEvalSetList",
  "Data": [
    { "Name": "smoke-tests", "Id": "…", "Evaluations": 5, "Evaluators": 2 }
  ]
}

Supprimer l’ensemble d’évaluation

Arguments

• <id> — eval-set ID or name.

Options

• --path <path> (default .)

ajout d’évaluation d’agent uip | liste | supprimer (cas de test)

Gérer les cas de test (évaluations) au sein d'un ensemble. Ces sous-commandes se trouvent directement sous eval, et non sous eval set.

Ajout d'évaluation

Arguments

• <name> — test-case name.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--inputs <json>	—	oui	Les valeurs d'entrée sous la forme d'une chaîne JSON. Analyse; non valide JSON échoue rapidement.
--expected <json>	—		Sortie attendue au format JSON.
--expected-agent-behavior <text>	—		Description du comportement attendu pour les évaluateurs de trajectoire (par exemple, "Must call Web Search tool").
--simulation-instructions <text>	—		Instructions pour simuler le comportement de l’agent pendant l’évaluation.
--simulate-input	désactivé		Activez la simulation d’entrée pour ce cas de test.
--simulate-tools	désactivé		Activez la simulation d’outils pour ce cas de test.
--input-generation-instructions <text>	—		Instructions pour synthétiser les entrées.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval add simple-greeting \
  --set default \
  --inputs '{"input":"hello"}' \
  --expected '{"content":"world"}' \
  --path ./my-agent

Format des données

{
  "Code": "AgentEvalAdd",
  "Data": {
    "Status": "Evaluation added",
    "Name": "simple-greeting",
    "Id": "a1b2c3d4-0000-0000-0000-000000000120",
    "Set": "default"
  }
}

Liste d'évaluation

Options

• --set <name> (required)
• --path <path> (default .)

Format des données

{
  "Code": "AgentEvalList",
  "Data": [
    {
      "Name": "simple-greeting",
      "Id": "…",
      "Inputs": "{\"input\":\"hello\"}",
      "Expected": "{\"content\":\"world\"}",
      "ExpectedBehavior": "-"
    }
  ]
}

Suppression d’évaluation

Arguments

• <id> — evaluation ID or name.

Options

• --set <name> (required)
• --path <path> (default .)

Exécution de l’évaluation d’agent UIP

Exécutez, surveillez et comparez les exécutions d'évaluation via le service Agent Runtime (EvalsTenantExecutionApi). Nécessite uip login.

Début de l’exécution de l’évaluation

Démarrez une exécution d’évaluation. L'agent doit déjà se trouver dans Studio Web (uip agent push) — passer explicitement --solution-id ou s'appuyer sur SolutionStorage.json, ce qui push écrit automatiquement.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--solution-id <id>	De SolutionStorage.json		ID de la solution cloud. Si ce champ est omis, la commande lira SolutionStorage.json dans le projet; si aucune n’est disponible, une erreur sera générée.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.
--wait	désactivé		Interrogez jusqu’à la fin de l’exécution, puis émettez des lignes de résumé + par cas de test.
--timeout <seconds>	600		Nombre maximal de secondes à interroger lorsque --wait est défini.

Exemple

uip agent eval run start --set default --path ./my-agent --wait

Data shape — kickoff (Code: "AgentEvalRunStarted"):

{
  "Code": "AgentEvalRunStarted",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "EvalSetName": "default",
    "TestCases": 5,
    "Evaluators": 2
  }
}

Avec --wait, deux charges utiles supplémentaires suivent après l'interrogation:

• Code: "AgentEvalRunCompleted" — résumé (Status, Score, Duration, EvaluatorScores, TestCases).
• Code: "AgentEvalRunResults" — lignes par cas de test (même forme que eval run results).

statut d’exécution de l’évaluation

Interroger le statut d’une exécution en cours ou terminée.

Arguments

• <evalSetRunId> — run ID from eval run start.

Options

• --set <name> (required)
• --path <path> (default .)

Format des données

{
  "Code": "AgentEvalRunStatus",
  "Data": {
    "EvalSetRunId": "…",
    "Status": "completed",
    "Score": 0.86,
    "Duration": "42.5s",
    "EvaluatorScores": "semantic: 0.9, trajectory: 0.82"
  }
}

résultats de l'exécution d'évaluation

Récupérer les résultats par cas de test.

Arguments

• <evalSetRunId>.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.
--only-failed	désactivé		Affichez uniquement les cas de test ayant échoué ou erronés.
--verbose	désactivé		Inclure les justifications de l’évaluateur dans la sortie.
--export-format <json|csv>	—		Écrivez les lignes formatées en eval-results-<timestamp>.(json|csv) au lieu de les imprimer.

Exemple

uip agent eval run results <evalSetRunId> --set default --verbose --only-failed

Data shape (inline — no export):

{
  "Code": "AgentEvalRunResults",
  "Data": [
    {
      "TestCase": "simple-greeting",
      "Status": "completed",
      "Score": 1,
      "EvaluatorScores": "semantic: 0.95",
      "Tokens": 320,
      "Duration": "1.8s",
      "Error": "-"
    }
  ]
}

Lorsque --export-format est défini, la charge utile devient Code: "AgentEvalRunExported" avec Format, File et Records.

Liste d'exécutions d'évaluation

Répertorie toutes les exécutions d'un ensemble d'évaluation donné.

Options

• --set <name> (required)
• --path <path> (default .)

Format des données

{
  "Code": "AgentEvalRunList",
  "Data": [
    {
      "EvalSetRunId": "…",
      "Status": "completed",
      "Score": 0.86,
      "TestCases": 5,
      "Duration": "42.5s",
      "EvaluatorScores": "semantic: 0.9, trajectory: 0.82",
      "CreatedAt": "2025-04-15T10:30:00Z"
    }
  ]
}

Comparaison des exécutions d’évaluation

Comparez deux exécutions côte à côte. Utile pour les modifications d’invite de test A/B ou de modèle.

Arguments

• <evalSetRunId> — first (baseline) run ID.

Options

Drapeau	Default	Requis	Objectif
--compare-to <id>	—	oui	Deuxième ID d’exécution à des fins de comparaison.
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Data shape (Code: "AgentEvalRunComparison")

{
  "Code": "AgentEvalRunComparison",
  "Data": {
    "RunA": { "Id": "…", "Score": 0.86, "Status": "completed" },
    "RunB": { "Id": "…", "Score": 0.80, "Status": "completed" },
    "ScoreDelta": 0.06,
    "TestCases": [
      { "TestCase": "simple-greeting", "ScoreA": 1, "ScoreB": 0.9, "Delta": "+0.1", "StatusA": "completed", "StatusB": "completed" }
    ]
  }
}

Associé

• uip agent push — doit être exécuté avant eval run start (sauf si --solution-id est fourni).
• uip agent validate — l'ensemble d'évaluation et les évaluateurs par défaut sont créés par init; validate les assure la cohérence.
• uip agent run — Exécutez l'agent sous forme de tâche Orchestrator; distincts d'une exécution d'évaluation d'Agent Runtime.

Voir également

• Authentification — sessions et validité du jeton pour les sous-commandes eval run .
• Options globales, codes de sortie.