Meilleures pratiques pour DeepRAG et la transformation par lots : JIT vs. stratégies basées sur l’index

Choix de votre approche d’accès aux données : JIT vs. stratégies basées sur l’index

Lors de la configuration de la façon dont votre agent accède aux données et en raisonne, choisissez l’approche qui correspond le mieux à vos exigences de forme de données, de cycle de vie et de performances.

Il y a deux schémas principaux :

• Outils juste à temps (JIT) qui traitent les fichiers transmis lors du runtime.
• Ancrage dans le contexte basé sur l’index qui interroge un index persistant pré-créé.

DeepRAG (JIT) et DeepRAG (stratégie de recherche d’index) utilisent la même capacité de synthèse sous-jacente. La différence est la façon dont les documents atteignent le moteur :

• JIT : les fichiers sont fournis lors du runtime.
• Basé sur l’index : les documents sont pré-ingérés dans un index persistant.

La transformation par lots est différente. Elle effectue des transformations structurées au niveau de la ligne sur les données tabulaires. Elle n’effectue pas la récupération de documents ou la synthèse longue.

Référence rapide

Capacité	DeepRAG (outil JIT)	Transformation par lots (outil JIT)	Recherche sémantique (index)	DeepRAG (stratégie de recherche d’index)
Configuration requise	Aucun (None)	Aucun (None)	Index + ingestion	Index + ingestion
Input format	PDF ou TXT	CSV	Documents pré-indexés	Documents pré-indexés (PDF/TXT)
Modifications de données par exécution	Oui (idéal)	Oui (idéal)	Non (corpus stable)	Non (corpus stable)
Type de sortie	Synthèse complète avec des citations 1	Fichier CSV enrichi	Extraits pertinents	Synthèse complète avec des citations
Vitesse	Minutes (plus de 30 minutes pour ~1 000 pages)	Minutes	Instantané	Minutes (plus de 30 minutes pour ~1 000 pages)
Idéal pour	Analyse du document par exécution	Traitement des données structurées par exécution	Recherche rapide des faits	Recherche approfondie sur les corpus volumineux

¹ Les entrées TXT ne prennent actuellement pas en charge les citations.

Outils JIT : la valeur par défaut recommandée

Pour la plupart des implémentations d’agent, les outils JIT sont le bon point de départ.

Ils ne nécessitent aucune configuration d’index, aucun workflow d’ingestion et aucune configuration de stockage. Les fichiers sont transmis directement à l’agent lorsqu’il s’exécute et l’outil gère automatiquement le traitement. Cela rend JIT particulièrement bien adapté aux cas d’utilisation où l’ensemble de documents change à chaque invocation.

Deux outils JIT sont disponibles : DeepRAG (JIT) et la transformation par lots.

DeepRAG (outil JIT)

Utilisez DeepRAG (JIT) lorsque votre agent doit lire et raisonner sur les fichiers PDF ou TXT fournis lors du runtime et produire une réponse synthétisée et ancrée.

L’algorithme DeepRAG effectue un processus de recherche structuré en plusieurs étapes. Il planifie les sous-tâches, itère sur les documents fournis et synthétise les conclusions dans une sortie complète. Pour les entrées PDF, les réponses incluent des citations. (Les entrées TXT ne prennent actuellement pas en charge les citations.)

Cette approche fonctionne mieux lorsque chaque exécution traite un ensemble de documents différent, tel que des fichiers client, des contrats, des enregistrements d’incident ou des rapports qui varient par invocation. Elle priorise l’exhaustivité et la traçabilité par rapport à la vitesse et s’effectue généralement en quelques minutes en fonction de la taille du document.

Transformation par lots (outil JIT)

La transformation par lots est destinée au traitement des données structurées. Elle fonctionne sur les fichiers CSV fournis lors du runtime et applique une logique cohérente à chaque ligne.

Plutôt que de synthétiser des documents, la transformation par lots enrichit les données. Elle traite les enregistrements indépendamment et génère un fichier CSV mis à jour qui peut inclure de nouvelles colonnes, classifications, scores ou autres valeurs dérivées.

Cela le rend approprié pour l’étiquetage, la notation, l’enrichissement et les transformations basées sur des règles sur des ensembles de données structurées.

Ancrage dans le contexte basé sur l'index

L’ancrage basé sur l’index nécessite l’ingestion de documents dans un index d’ancrage dans le contexte avant l’exécution de l’agent. Bien que cette configuration introduise une configuration supplémentaire, elle devient précieuse lorsque vous travaillez avec un corpus stable volumineux qui est réutilisé sur de nombreuses exécutions de l’agent.

Les exemples typiques incluent les bibliothèques de politiques, les bases de connaissances, les référentiels réglementaires ou les collections de documentation longue durée partagées par plusieurs utilisateurs ou processus.

Lors de la configuration d’un agent basé sur un index, vous sélectionnez une stratégie de recherche.

Recherche sémantique

La recherche sémantique est la stratégie d’index par défaut. Elle effectue une récupération rapide et légère et renvoie les segments de document les plus pertinents.

Cette stratégie est appropriée lorsque l’agent doit rechercher des faits spécifiques ou extraire rapidement des informations ciblées. Elle fonctionne bien pour les schémas de questions-réponses et les requêtes répétées par rapport à un référentiel partagé où la vitesse est importante.

DeepRAG (stratégie de recherche d’index)

DeepRAG peut également fonctionner sur un index. Dans ce mode, il analyse et connecte les informations entre de nombreux documents et produit une réponse complète appuyée sur une citation.

Par rapport à la recherche sémantique, cette approche est plus lente et consomme plus d’AI Units, mais elle prend en charge des tâches de recherche plus approfondies. Elle est bien adaptée aux scénarios qui nécessitent une analyse approfondie sur des centaines de pages, tels que l’examen d’un contrat, l’évaluation réglementaire ou la synthèse d’enregistrements médicaux au sein d’un corpus stable.

Comment décider

Utilisez les directives suivantes pour sélectionner l’approche correcte :

• Utilisez DeepRAG (JIT) lorsque les documents changent à chaque exécution et que vous avez besoin d’une synthèse avec des citations à partir de fichiers de runtime.
• Utilisez la transformation par lots (JIT) lors du traitement de données CSV structurées ligne par ligne.
• Utilisez la recherche sémantique (index) lors de l’interrogation d’un corpus stable partagé pour une récupération rapide et ciblée.
• Utilisez DeepRAG (stratégie d’index) lors de l’exécution de recherches approfondies sur un important corpus indexé et des réponses complètes soutenues par des citations sont requises.

En cas de doute, commencez par les outils JIT. Passez à des stratégies basées sur l’index uniquement lorsque vous avez besoin d’un ancrage persistant de documents sur plusieurs exécutions d’agent.