Transformation par lots

L'outil Batch Transform permet aux agents de traiter des fichiers CSV de façon groupée à l'aide de sources de données JIT. Elle est conçue pour les scénarios dans lesquels vous souhaitez appliquer la même logique de transformation à chaque ligne ou enregistrement d'un fichier CSV sans configurer des compartiments ou des index de stockage à l'avance.

Batch Transform prend un fichier CSV d'entrée fourni au moment du runtime et applique une tâche de transformation définie par l'utilisateur. L'outil traite le fichier ligne par ligne et produit un ou plusieurs fichiers de sortie qui incluent les données d'origine, ainsi que toutes les colonnes ou lignes supplémentaires générées par la logique de transformation.

Les cas d'utilisation typiques incluent :

• Enrichir des fichiers CSV avec des scores, des libellés ou des classifications générés par un modèle
• Application de règles métier ou d’une logique décisionnelle aux ensembles de données volumineux
• Fournir des explications ou des justifications conjointement à des décisions automatisées

Sources de données

• La transformation par lots prend uniquement en charge les sources de données JIT.
• Seuls les fichiers CSV sont pris en charge comme entrée.
• Les fichiers sont transmis directement par les entrées de l'agent et résolus automatiquement au moment du runtime.
• Aucune configuration de stockage externe ni création d'index n'est requise.

For details, refer to Best practices for DeepRAG and Batch Transform: JIT vs. index-based strategies.

Configuration de la transformation par lots

Ajouter l'outil de transformation par lots

1. Ouvrez votre agent en mode conception.
2. Dans la liste des outils intégrés, ajoutez Batch Transform à l'agent.

Une fois ajouté, l'outil Batch Transform apparaît sous la forme d'un nœud d'outil dédié que vous pouvez configurer à partir du panneau de droite.

Configurer les entrées

Au moment de la conception, vous spécifiez comment l'outil doit recevoir son entrée :

• Fichier source : la source est une entrée de fichier (par exemple, input-csv). Au moment de l'exécution, cela est automatiquement résolu dans le fichier fourni lorsque l'agent s'exécute.

  Remarque :

  Vous devez configurer un argument de type de fichier dans le Data Manager.

• Tâche de transformation par lots : l'instruction spécifique à l'outil qui définit la façon dont la transformation par lots doit être effectuée. Utilisez ce champ pour indiquer à l’outil exactement comment traiter le fichier d’entrée, notamment :

  • Les nouvelles colonnes ou lignes à générer
  • Comment chaque ligne doit être traitée
  • Les règles, critères ou logique de décision à appliquer

  Par exemple, vous pouvez demander à l'outil de générer deux nouvelles colonnes telles qu'un score et un indicateur de recommandation en fonction du contenu de chaque ligne. Il ne s’agit pas d’une requête d’agent. L'agent doit uniquement inclure une instruction de haut niveau indiquant quand invoquer la transformation par lots et à quoi doit ressembler la sortie finale.

  

• Colonnes de sortie : définissez le schéma de toutes les nouvelles colonnes générées par la transformation par lots. Pour chaque colonne, indiquez :

  • Le nom de la colonne
  • Une description de ce que la colonne représente et de la façon dont ses valeurs doivent être interprétées

  Vous pouvez ajouter de nouvelles colonnes de sortie, modifier des noms de colonnes ou des descriptions existants ou supprimer des colonnes selon vos besoins. La tâche de transformation par lots doit décrire la logique utilisée pour remplir ces colonnes configurées.

Activer l’ancrage pour la recherche sur le Web (facultatif)

L'outil Batch Transform comprend un paramètre facultatif d'ancrage dans le Web qui contrôle si le modèle est autorisé à utiliser les résultats de la recherche Web lors de la génération des transformations.

• Lorsque cette option est activée, le modèle peut compléter les données du fichier d'entrée avec des informations récupérées sur le Web lors du traitement de chaque ligne.
• Lorsqu'elle est désactivée, la transformation est effectuée strictement en utilisant le contenu du fichier d'entrée, les instructions définies dans la tâche et tout contexte explicitement fourni à l'agent.

Exécution de la transformation par lots

Lorsque vous exécutez ou déboguez l'agent, l'outil Batch Transform s'exécute dans le cadre de l'exécution de l'agent :

• Le fichier d’entrée est transmis à l’outil au moment du runtime.
• L'outil traite le fichier ligne par ligne.
• Un fichier de sortie transformé est généré.
• Le fichier de sortie est renvoyé dans le cadre de la sortie de l'agent.

Lors de l'exécution, Batch Transform apparaît dans le traçage de l'exécution sous la forme d'un appel d'outil dédié. Vous pouvez développer cette étape pour inspecter les informations de runtime détaillées.

Inspecter les détails de l’exécution

À partir du traçage de l'exécution, vous pouvez examiner les détails indiqués dans la sortie de l'appel d'outil et, le cas échéant, dans la sortie de l'agent :

• Entrées : le fichier d’entrée utilisé par l’outil, y compris le nom de fichier, le type de fichier et les métadonnées.
• Sorties : le fichier de sortie généré, y compris l’ID de fichier, le nom du fichier et le type MIME (affiché dans la sortie de l’appel d’outil lorsqu’une sortie de fichier est définie).
• Contexte des requêtes : les requêtes système et utilisateur utilisées pendant l'exécution de l'agent, qui aident à expliquer comment la tâche de transformation a été exécutée.

Vous pouvez télécharger les fichiers d'entrée et de sortie directement à partir du traçage d'exécution à des fins de validation ou de dépannage.

Lorsqu'une sortie de fichier est définie, la sortie finale de l'agent inclut généralement un message de confirmation indiquant que le fichier transformé a été généré et fournissant le nom du fichier de sortie.

Évaluation des transformations de lots

Les évaluations vous permettent de mesurer la qualité et l'exactitude des sorties traitées par lots. En plus d'évaluer les résultats au niveau des fichiers, les agents prennent en charge l'évaluation ligne par ligne, qui est particulièrement utile pour les sorties structurées comme les fichiers CSV.

Évaluation ligne par ligne

L'évaluation ligne par ligne évalue chaque ligne d'un fichier de sortie indépendamment au lieu d'évaluer le fichier comme une seule unité. Cela offre une visibilité granulaire dans les performances des enregistrements individuels par rapport à vos critères d'évaluation. Ce mode est particulièrement utile lorsque :

• Chaque ligne représente une décision ou une classification indépendante.
• Vous avez besoin de métriques de réussite/échec granulaires pour les fichiers volumineux.
• Vous souhaitez explorer des échecs individuels.

Configuration de l'évaluation ligne par ligne

L'évaluation ligne par ligne est configurée dans les paramètres de l'ensemble d'évaluation :

1. Activez l'évaluation ligne par ligne dans la configuration de l'ensemble d'évaluations.
2. Sélectionnez le fichier de sortie à évaluer. Cela est nécessaire lorsqu'un agent produit plusieurs fichiers de sortie.
3. Spécifiez le type de fichier (par exemple, CSV) sur lequel l'évaluateur doit opérer.

Une fois configurées, les évaluations seront effectuées sur chaque ligne du fichier de sortie sélectionné.

Évaluateur de correspondance exacte de colonne CSV

Pour prendre en charge l'évaluation de fichiers structurés, un évaluateur déterministe appelé Évaluateur de correspondance exacte de colonne CSV est disponible. Pour de plus amples informations, reportez-vous à la section Évaluations des agents.

Cet évaluateur :

• Compare une ou plusieurs colonnes spécifiées entre les sorties attendues et les sorties réelles
• Effectue une correspondance de chaîne exacte
• Renvoie les résultats de réussite/échec par ligne

L'évaluateur de correspondance exacte de colonne CSV est bien adapté pour valider des sorties catégorielles telles que les libellés, les types de correspondance ou les champs de statut.

Exécuter et examiner des évaluations

Après avoir configuré l'ensemble d'évaluation :

1. Créez une exécution d'évaluation à l'aide d'un fichier d'entrée et du fichier de sortie Transformation du lot correspondant.
2. Planifiez ou exécutez l'évaluation.
3. Examinez les résultats à deux niveaux :
   • Résumé au niveau du fichier, montrant le nombre de lignes ayant réussi ou échoué globalement.
   • Exploration au niveau de la ligne, affichant le statut réussite/échec, les valeurs et les métadonnées de chaque ligne individuelle.

Par exemple, une évaluation peut montrer que 141 lignes sur 199 ont réussi une vérification de correspondance exacte pour une colonne spécifique. Vous pouvez ensuite explorer de manière hiérarchique pour inspecter individuellement les lignes ayant échoué, comparer les valeurs attendues par rapport aux valeurs réelles, et examiner les détails d'exécution tels que la latence par ligne.

L'évaluation ligne par ligne fournit :

• Visibilité claire des enregistrements qui ont réussi ou échoué.
• Débogage plus rapide de la logique de transformation.
• Mesures quantitatives pour suivre les améliorations au fil du temps.