Transformation par lots

L’outil Transformation par lots permet aux Agents de traiter des fichiers CSV en bloc à l’aide de sources de données juste à temps (JIT).Il est conçu pour les scénarios dans lesquels vous souhaitez appliquer la même logique de transformation sur chaque ligne ou enregistrement d’un fichier CSV sans configurer à l’avance des compartiments de stockage ou des index.

La transformation par lots prend un fichier CSV d’entrée fourni lors du Runtime et lui applique une tâche de transformation définie par l’utilisateur.L’outil traite le fichier ligne par ligne et produit un ou plusieurs fichiers de sortie qui incluent les données d’origine ainsi que toutes les colonnes ou lignes supplémentaires générées par la logique de transformation.

Les cas d’utilisation typiques incluent :

• Enrichissement des fichiers CSV avec des scores, des libellés ou des classifications générés par le modèle
• Application de règles métier ou de la logique de décision à des ensembles de données volumineux
• Production d’explications ou de justifications parallèlement à des décisions automatisées

Sources de données

• La transformation par lots prend uniquement en charge les sources de données JIT.
• Seuls les fichiers CSV sont pris en charge en tant qu’entrée.
• Les fichiers sont transmis directement via les entrées de l’agent et résolus automatiquement lors du Runtime.
• Aucune configuration de stockage externe ou création d’index n’est requise.

Pour des détails, reportez-vous à Meilleures pratiques pour DeepRAG et la transformation par lots : JIT vs. stratégies basées sur l’index.

Configuration de la transformation par lots

Ajouter l’outil Transformation par lots

1. Ouvrez votre agent en mode conception.
2. Dans la liste des outils intégrés, ajoutez la transformation par lots à l’agent.

Une fois ajouté, l’outil Transformation par lots apparaît comme un nœud d’outil dédié que vous pouvez configurer à partir du panneau de droite.

Configurer les entrées

En phase de conception, vous spécifiez comment l’outil doit recevoir son entrée :

• Fichier source : la source est une entrée de fichier (par exemple, input-csv). Lors du Runtime, cela se résout automatiquement vers le fichier fourni lorsque l’agent s’exécute.

  Remarque :

  Vous devez configurer un argument de type de fichier dans le Gestionnaire de données.

• Tâche de transformation par lots : l’instruction spécifique à l’outil qui définit la façon dont la transformation par lots doit être effectuée. Utilisez ce champ pour indiquer à l’outil exactement comment traiter le fichier d’entrée, y compris :

  • Quelles nouvelles colonnes ou lignes générer
  • Comment chaque ligne doit être traitée
  • Toutes les règles, tous les critères ou toute logique de décision à appliquer

  Par exemple, vous pourriez demander à l’outil de générer deux nouvelles colonnes telles qu’un score et un indicateur de recommandation en fonction du contenu de chaque ligne.Ce n’est pas une invite de l’agent.L’agent ne doit inclure qu’une instruction de haut niveau indiquant quand invoquer la transformation par lots et à quoi doit ressembler la sortie finale.

  

• Colonnes de sortie - Définissez le schéma de toutes les nouvelles colonnes générées par la transformation par lots. Pour chaque colonne, spécifiez :

  • Le nom de la colonne
  • Une description de ce que la colonne représente et de la façon dont ses valeurs doivent être interprétées

  Vous pouvez ajouter de nouvelles colonnes de sortie, modifier les noms ou les descriptions de colonnes existants, ou supprimer des colonnes selon les besoins. La tâche Transformation par lots doit décrire la logique utilisée pour renseigner ces colonnes configurées.

Activer l’ancrage de la recherche Web (facultatif)

L’outil Transformation par lots inclut un paramètre d’ancrage de la recherche Web facultatif qui contrôle si le modèle est autorisé à utiliser les résultats de la recherche Web lors de la génération de transformations.

• Lorsqu’il est activé, le modèle peut compléter les données du fichier d’entrée avec des informations récupérées sur le Web tout en traitant chaque ligne.
• Lorsqu’il est désactivé, la transformation est effectuée strictement à l’aide du contenu du fichier d’entrée, des instructions définies dans la tâche et de tout contexte explicitement fourni à l’agent.

Exécution de la transformation par lots

Lorsque vous exécutez ou Debug l’agent, l’outil Transformation par lots s’exécute dans le cadre de l’exécution de l’agent :

• Le fichier d’entrée est transmis dans l’outil lors du Runtime.
• L’outil traite le fichier ligne par ligne.
• Un fichier de sortie transformé est généré.
• Le fichier de sortie est retourné dans le cadre de la sortie de l’agent.

Pendant l’exécution, la transformation par lots apparaît dans la Trace d’exécution en tant qu’appel d’outil dédié. Vous pouvez développer cette étape pour inspecter des informations détaillées du Runtime.

Inspection des détails de l’exécution

À partir de la Trace d’exécution, vous pouvez examiner les détails apparus dans la sortie d’appel de l’outil et, le cas échéant, la sortie de l’agent :

• Entrées - Le fichier d’entrée utilisé par l’outil, y compris le nom du fichier, le type et les métadonnées (visibles dans la sortie d’appel de l’outil).
• Sorties - Le fichier de sortie généré, y compris l’ID de fichier, le nom de fichier et le type MIME (affiché dans la sortie d’appel de l’outil lorsqu’une sortie de fichier est définie).
• Contexte d’invite - Les invites du système et de l’utilisateur utilisées pendant l’exécution de l’agent, qui aident à expliquer comment la tâche de transformation a été exécutée.

Vous pouvez télécharger à la fois les fichiers d’entrée et de sortie directement à partir de la Trace d’exécution pour validation ou résolution de problèmes.

Lorsqu’une sortie de fichier est définie, la sortie finale de l’agent inclut généralement un message de confirmation indiquant que le fichier transformé a été généré et fournissant le nom du fichier de sortie.

Évaluation des transformations par lots

Les évaluations vous permettent de mesurer la qualité et l’exactitude des sorties traitées par lots.En plus d’évaluer les résultats au niveau du fichier, les Agents prennent en charge l’évaluation ligne par ligne, ce qui est particulièrement utile pour les sorties structurées telles que les fichiers CSV.

Évaluation ligne par ligne

L’évaluation ligne par ligne évalue chaque ligne dans un fichier de sortie indépendamment au lieu d’évaluer le fichier en tant qu'unité unique. Cela fournit une visibilité granulaire sur les performances des enregistrements individuels par rapport à vos critères d’évaluation. Ce mode est particulièrement utile lorsque :

• Chaque ligne représente une décision ou une classification indépendante.
• Vous avez besoin de métriques granulaires de réussite/d’échec sur les fichiers volumineux.
• Vous souhaitez explorer des défaillances individuelles.

Configuration de l’évaluation ligne par ligne

L’évaluation ligne par ligne est configurée dans les paramètres de l’ensemble d’évaluations :

1. Activez l’évaluation ligne par ligne dans la configuration de l’ensemble d’évaluations.
2. Sélectionnez le fichier de sortie à évaluer. Cela est requis lorsqu’un agent produit plusieurs fichiers de sortie.
3. Spécifiez le type de fichier (par exemple, CSV) sur lequel l’évaluateur doit opérer.

Une fois configurées, les évaluations seront effectuées sur chaque ligne du fichier de sortie sélectionné.

Évaluateur de la correspondance exacte de la colonne CSV

Pour prendre en charge l’évaluation des fichiers structurés, un évaluateur déterministe appelé Évaluateur de correspondance exacte de la colonne CSV est disponible.Pour des détails, reportez-vous à Évaluations de l’agent.

Cet évaluateur :

• Compare une ou plusieurs colonnes spécifiées entre les sorties attendues et réelles
• Effectue une correspondance de string exacte
• Retourne les résultats de réussite/d’échec par ligne

L’évaluateur de correspondance exacte de la colonne CSV est bien adapté à la validation des sorties catégoriques telles que les libellés, les types de correspondance ou les champs de statut.

Exécution et examen des évaluations

Après avoir configuré l’ensemble d’évaluations :

1. Créez une exécution d’évaluation à l’aide d’un fichier d’entrée et du fichier de sortie de la transformation par lots correspondant.
2. Planifiez ou exécutez l’évaluation.
3. Examinez les résultats à deux niveaux :
   • Résumé au niveau du fichier, montrant combien de lignes ont réussi ou ont échoué globalement.
   • Analyse détaillée au niveau de la ligne affichant le statut de réussite/d’échec, les valeurs et les métadonnées pour chaque ligne individuelle.

Par exemple, une évaluation pourrait montrer que 141 lignes sur 199 ont réussi une vérification de correspondance exacte sur une colonne spécifique.À partir de là, vous pouvez effectuer une analyse détaillée pour inspecter des lignes échouées individuelles , comparer les valeurs attendues par rapport aux valeurs réelles et examiner les détails d’exécution tels que la latence par ligne.

L’évaluation ligne par ligne fournit :

• Visibilité claire sur les enregistrements qui ont réussi ou échoué.
• Débogage plus rapide de la logique de transformation.
• Métriques quantitatives pour suivre les améliorations au fil du temps.