évaluation d’agent uip

Syntaxe et options de `uip agent eval`, qui gère les évaluateurs, les ensembles d'évaluation, les cas de test et les exécutions contre le runtime de l'agent.

uip agent eval est le groupe de commandes d'évaluation. Il gère les évaluateurs, les ensembles d’évaluation et les cas de test sur disque, et exécute les exécutions d’évaluation par rapport au service Agent Runtime. Quatre arborescences de sous-commandes se trouvent en dessous:

• uip agent eval evaluator … — gérez les évaluateurs (evals/evaluators/*.json).
• uip agent eval set … — gérez les ensembles d'évaluation (evals/eval-sets/*.json).
• uip agent eval add | list | remove — gérez les cas de test (évaluations) au sein d'un ensemble d'évaluation.
• uip agent eval run … — démarrer, surveiller, répertorier et comparer les exécutions d'évaluation par rapport au service Agent Runtime.

Tout, à l’exception de uip agent eval run *, est local uniquement. Les sous-commandes run nécessitent une session CLI active (uip login) et résolvent leur cible de l'une des trois manières: un --solution-id explicite, un SolutionStorage.json détecté automatiquement laissé par uip solution upload, ou — lorsque ni l'un ni l'autre n'est présent et le projet ressemble à un espace de travail local — un chemin d'évaluation implicite de l'espace de travail local qui s'exécute directement par rapport aux fichiers du projet sans téléchargement préalable.

Toutes les sous-commandes uip agent eval respectent les options globales (--output, --output-filter, --log-level, --log-file). Les codes de sortie suivent le contrat standard.

Synthèse

uip agent eval evaluator add    <name> --type <type> [--description <d>] [--prompt <p>] [--target-key <k>] [--path <dir>]
uip agent eval evaluator list                                                                                 [--path <dir>]
uip agent eval evaluator remove <id>                                                                           [--path <dir>]

uip agent eval set add    <name>  [--evaluators <ids>]                                                         [--path <dir>]
uip agent eval set list                                                                                         [--path <dir>]
uip agent eval set remove <id>                                                                                  [--path <dir>]

uip agent eval add    <name> --set <name> --inputs <json>
                              [--expected <json>] [--expected-agent-behavior <text>]
                              [--simulation-instructions <text>]
                              [--simulate-input] [--simulate-tools]
                              [--input-generation-instructions <text>]
                              [--path <dir>]
uip agent eval list   --set <name>                                                                              [--path <dir>]
uip agent eval remove <id> --set <name>                                                                         [--path <dir>]

uip agent eval run start   --set <name> [--solution-id <id>] [--wait] [--timeout <s>]                           [--path <dir>]
uip agent eval run status  <evalSetRunId> --set <name>                                                          [--path <dir>]
uip agent eval run results <evalSetRunId> --set <name> [--only-failed] [--verbose] [--export-format <json|csv>] [--path <dir>]
uip agent eval run list    --set <name>                                                                         [--path <dir>]
uip agent eval run compare <evalSetRunId> --compare-to <id> --set <name>                                        [--path <dir>]

Évaluateur d’évaluation d’agent UIP

Gérer les évaluateurs — les évaluateurs qui notent la sortie d’un agent.

ajouter un évaluateur d’évaluation

Arguments

• <name> (obligatoire) : nom de l’évaluateur. Utilisé comme nom de fichier par défaut.

Options

Drapeau	Default	Requis	Objectif
--type <type>	—	oui	Type d'évaluateur. Les valeurs connues incluent SemanticSimilarity, Trajectory et LLM-as-judge; exécutez uip agent eval evaluator add --help pour obtenir la liste complète prise en charge par votre installation.
--description <desc>	—		Description en texte libre.
--prompt <prompt>	—		Invite d’évaluation personnalisée (pour les évaluateurs basés sur des invites).
--target-key <key>	—		Clé de sortie cible par rapport à laquelle évaluer.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval evaluator add content-check \
  --type SemanticSimilarity \
  --path ./my-agent

Format des données (--output json)

{
  "Code": "AgentEvaluatorAdd",
  "Data": {
    "Status": "Evaluator added",
    "Name": "content-check",
    "Type": "SemanticSimilarity",
    "Id": "a1b2c3d4-0000-0000-0000-000000000130",
    "File": "content-check.json"
  }
}

liste des évaluateurs d’évaluation

Options

• --path <path> (par défaut .)

Format des données

{
  "Code": "AgentEvaluatorList",
  "Data": [
    { "Name": "content-check", "Type": "SemanticSimilarity", "Id": "…", "File": "content-check.json" }
  ]
}

Les projets vides renvoient Data: { "Message": "No evaluators configured" }.

Suppression de l’évaluateur d’évaluation

Arguments

• <id> — ID ou nom de l'évaluateur.

Options

• --path <path> (par défaut .)

Format des données

{ "Code": "AgentEvaluatorRemove", "Data": { "Status": "Evaluator removed", "Id": "content-check" } }

ensemble d’évaluation d’agent UiP

Gérer les ensembles d’évaluation — les collections nommées de cas de test plus les évaluateurs qui doivent les noter.

Ajouter un ensemble d'évaluation

Arguments

• <name> — nom de l'ensemble d'évaluation.

Options

Drapeau	Default	Objectif
--evaluators <ids>	tous les évaluateurs du projet	ID d'évaluateur séparés par des virgules à inclure.
--path <path>	.	Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval set add smoke-tests \
  --evaluators a1b2c3d4-0000-0000-0000-000000000130,a1b2c3d4-0000-0000-0000-000000000131 \
  --path ./my-agent

Format des données

{
  "Code": "AgentEvalSetAdd",
  "Data": {
    "Status": "Evaluation set created",
    "Name": "smoke-tests",
    "Id": "a1b2c3d4-0000-0000-0000-000000000110",
    "Evaluators": 2
  }
}

liste des ensembles d’évaluation

Options

• --path <path> (par défaut .)

Format des données

{
  "Code": "AgentEvalSetList",
  "Data": [
    { "Name": "smoke-tests", "Id": "…", "Evaluations": 5, "Evaluators": 2 }
  ]
}

Supprimer l’ensemble d’évaluation

Arguments

• <id> — eval-set ID ou nom.

Options

• --path <path> (par défaut .)

ajout d’évaluation d’agent uip | liste | supprimer (cas de test)

Gérer les cas de test (évaluations) au sein d'un ensemble. Ces sous-commandes se trouvent directement sous eval, et non sous eval set.

Ajout d'évaluation

Arguments

• <name> — nom du cas de test.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--inputs <json>	—	oui	Les valeurs d'entrée sous la forme d'une chaîne JSON. Analyse; non valide JSON échoue rapidement.
--expected <json>	—		Sortie attendue au format JSON.
--expected-agent-behavior <text>	—		Description du comportement attendu pour les évaluateurs de trajectoire (par exemple, "Must call Web Search tool").
--simulation-instructions <text>	—		Instructions pour simuler le comportement de l’agent pendant l’évaluation.
--simulate-input	désactivé		Activez la simulation d’entrée pour ce cas de test.
--simulate-tools	désactivé		Activez la simulation d’outils pour ce cas de test.
--input-generation-instructions <text>	—		Instructions pour synthétiser les entrées.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Exemple

uip agent eval add simple-greeting \
  --set default \
  --inputs '{"input":"hello"}' \
  --expected '{"content":"world"}' \
  --path ./my-agent

Format des données

{
  "Code": "AgentEvalAdd",
  "Data": {
    "Status": "Evaluation added",
    "Name": "simple-greeting",
    "Id": "a1b2c3d4-0000-0000-0000-000000000120",
    "Set": "default"
  }
}

Liste d'évaluation

Options

• --set <name> (requis)
• --path <path> (par défaut .)

Format des données

{
  "Code": "AgentEvalList",
  "Data": [
    {
      "Name": "simple-greeting",
      "Id": "…",
      "Inputs": "{\"input\":\"hello\"}",
      "Expected": "{\"content\":\"world\"}",
      "ExpectedBehavior": "-"
    }
  ]
}

Suppression d’évaluation

Arguments

• <id> — ID ou nom d'évaluation.

Options

• --set <name> (requis)
• --path <path> (par défaut .)

Exécution de l’évaluation d’agent UIP

Exécutez, surveillez et comparez les exécutions d'évaluation via le service Agent Runtime (EvalsTenantExecutionApi). Nécessite uip login.

Début de l’exécution de l’évaluation

Démarrez une exécution d’évaluation. L'agent doit déjà se trouver dans Studio Web (uip solution upload) — passer explicitement --solution-id ou s'appuyer sur SolutionStorage.json, ce qui uip solution upload écrit automatiquement.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--solution-id <id>	De SolutionStorage.json		ID de la solution cloud. Si ce champ est omis, la commande lira SolutionStorage.json dans le projet; si aucune n’est disponible, une erreur sera générée.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.
--wait	désactivé		Interrogez jusqu’à la fin de l’exécution, puis émettez des lignes de résumé + par cas de test.
--timeout <seconds>	600		Nombre maximal de secondes à interroger lorsque --wait est défini.

Exemple

uip agent eval run start --set default --path ./my-agent --wait

Format des données — lancement (Code: "AgentEvalRunStarted"):

{
  "Code": "AgentEvalRunStarted",
  "Data": {
    "EvalSetRunId": "a1b2c3d4-0000-0000-0000-000000000101",
    "EvalSetName": "default",
    "TestCases": 5,
    "Evaluators": 2
  }
}

Avec --wait, deux charges utiles supplémentaires suivent après l'interrogation:

• Code: "AgentEvalRunCompleted" — résumé (Status, Score, Duration, EvaluatorScores, TestCases).
• Code: "AgentEvalRunResults" — lignes par cas de test (même forme que eval run results).

statut d’exécution de l’évaluation

Interroger le statut d’une exécution en cours ou terminée.

Arguments

• <evalSetRunId> — exécuter l'ID depuis eval run start.

Options

• --set <name> (requis)
• --path <path> (par défaut .)

Format des données

{
  "Code": "AgentEvalRunStatus",
  "Data": {
    "EvalSetRunId": "…",
    "Status": "completed",
    "Score": 0.86,
    "Duration": "42.5s",
    "EvaluatorScores": "semantic: 0.9, trajectory: 0.82"
  }
}

résultats de l'exécution d'évaluation

Récupérer les résultats par cas de test.

Arguments

• <evalSetRunId>.

Options

Drapeau	Default	Requis	Objectif
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.
--only-failed	désactivé		Affichez uniquement les cas de test ayant échoué ou erronés.
--verbose	désactivé		Inclure les justifications de l’évaluateur dans la sortie.
--export-format <json|csv>	—		Écrivez les lignes formatées en eval-results-<timestamp>.(json|csv) au lieu de les imprimer.

Exemple

uip agent eval run results <evalSetRunId> --set default --verbose --only-failed

Format des données (en ligne — aucune exportation):

{
  "Code": "AgentEvalRunResults",
  "Data": [
    {
      "TestCase": "simple-greeting",
      "Status": "completed",
      "Score": 1,
      "EvaluatorScores": "semantic: 0.95",
      "Tokens": 320,
      "Duration": "1.8s",
      "Error": "-"
    }
  ]
}

Lorsque --export-format est défini, la charge utile devient Code: "AgentEvalRunExported" avec Format, File et Records.

Liste d'exécutions d'évaluation

Répertorie toutes les exécutions d'un ensemble d'évaluation donné.

Options

• --set <name> (requis)
• --path <path> (par défaut .)

Format des données

{
  "Code": "AgentEvalRunList",
  "Data": [
    {
      "EvalSetRunId": "…",
      "Status": "completed",
      "Score": 0.86,
      "TestCases": 5,
      "Duration": "42.5s",
      "EvaluatorScores": "semantic: 0.9, trajectory: 0.82",
      "CreatedAt": "2025-04-15T10:30:00Z"
    }
  ]
}

Comparaison des exécutions d’évaluation

Comparez deux exécutions côte à côte. Utile pour les modifications d’invite de test A/B ou de modèle.

Arguments

• <evalSetRunId> — premier ID d'exécution (base de référence).

Options

Drapeau	Default	Requis	Objectif
--compare-to <id>	—	oui	Deuxième ID d’exécution à des fins de comparaison.
--set <name>	—	oui	Nom ou ID de l’ensemble d’évaluation.
--path <path>	.		Chemin d’accès au répertoire du projet d’agent.

Format des données (Code: "AgentEvalRunComparison")

{
  "Code": "AgentEvalRunComparison",
  "Data": {
    "RunA": { "Id": "…", "Score": 0.86, "Status": "completed" },
    "RunB": { "Id": "…", "Score": 0.80, "Status": "completed" },
    "ScoreDelta": 0.06,
    "TestCases": [
      { "TestCase": "simple-greeting", "ScoreA": 1, "ScoreB": 0.9, "Delta": "+0.1", "StatusA": "completed", "StatusB": "completed" }
    ]
  }
}

Associé

• uip solution upload — envoie l'agent à Studio Web et laisse le SolutionStorage.json que eval run start détecte automatiquement (à moins que --solution-id ne soit fourni, ou que le projet ne puisse accéder au chemin implicite de l'espace de travail local).
• uip agent validate — l'ensemble d'évaluation et les évaluateurs par défaut sont créés par init; validate les assure la cohérence.
• uip agent debug — exécutez l'agent une fois dans Studio Web avec des exemples d'entrées; distincts d'une exécution d'évaluation d'Agent Runtime.

Voir également

• Authentification — sessions et validité du jeton pour les sous-commandes eval run .
• Options globales, codes de sortie.