Batch-Transformation

Mit dem Batch-Transformationstool können Agents CSV-Dateien in großen Mengen mit Just-in-Time-Datenquellen (JIT) verarbeiten. Sie ist für Szenarien konzipiert, in denen Sie dieselbe Transformationslogik auf jede Zeile oder jeden Datensatz in einer CSV-Datei anwenden möchten, ohne im Voraus Speicher-Buckets oder Indizes einzurichten.

Batch-Transformation nimmt eine Eingabedatei zur ${Runtime} bereitgestellt und wendet eine benutzerdefinierte Transformationsaufgabe darauf an.Das Tool verarbeitet die Datei Zeile für Zeile und erstellt eine oder mehrere Ausgabedateien, die die Originaldaten zusammen mit zusätzlichen Spalten oder Zeilen enthalten, die von der Transformationslogik generiert wurden.

Typische Anwendungsfälle sind:

• Anreichern von CSV-Dateien mit modellgenerierten Bewertungen, Beschriftungen oder Klassifizierungen
• Anwenden von Geschäftsregeln oder Entscheidungslogik auf große Datensätze
• Erstellen von Erklärungen oder Rechtfertigungen neben automatisierten Entscheidungen

Datenquellen

• Batch-Transformation unterstützt nur JIT-Datenquellen.
• Nur CSV-Dateien werden als Eingabe unterstützt.
• Dateien werden direkt über Agent-Eingaben übergeben und zur Runtime automatisch aufgelöst.
• Es ist keine externe Speicherkonfiguration oder Indexerstellung erforderlich.

Weitere Informationen finden Sie unter Best Practices für DeepRAG und Batch-Transformation: JIT vs. indexbasierte Strategien.

Configuring Batch Transform

Add the Batch Transform tool

1. Öffnen Sie Ihren Agent im Designmodus.
2. Fügen Sie dem Agent aus der Liste der integrierten Tools eine Batch Transform hinzu.

Nach dem Hinzufügen wird das Tool „Batch Transform“ als dedizierter Toolknoten angezeigt, den Sie im rechten Bereich konfigurieren können.

Eingaben konfigurieren

Zur Entwurfszeit geben Sie an, wie das Tool seine Eingaben erhalten soll:

• Quelldatei: Die Quelle ist eine Dateieingabe (z. B. input-csv). Zur Runtime wird dies automatisch in die Datei aufgelöst, die bei der Ausführung des Agent bereitgestellt wird.

  Hinweis:

  Sie müssen ein Dateitypargument in Data Manager konfigurieren.

• Batch-Transformationsaufgabe – Die toolspezifische Anweisung, die definiert, wie die Batch-Transformation ausgeführt werden soll. Verwenden Sie dieses Feld, um dem Tool genau mitzuteilen, wie die Eingabedatei verarbeitet werden soll, einschließlich:

  • Welche neuen Spalten oder Zeilen generiert werden sollen.
  • Wie jede Zeile verarbeitet werden sollte
  • Alle anzuwendenden Regeln, Kriterien oder Entscheidungslogik

  Sie können das Tool beispielsweise anweisen, zwei neue Spalten wie eine Punktzahl und ein Empfehlungs-Flag basierend auf dem Inhalt jeder Zeile zu generieren. Dies ist kein Agent-Prompt. Der Agent sollte nur eine übergeordnete Anweisung enthalten, wann die Batch-Transformation aufgerufen werden soll und wie die endgültige Ausgabe aussehen sollte.

  

• Ausgabe – Definieren Sie das Schema für alle neuen Spalten, die durch die Batch Transform generiert werden.Geben Sie für jede Spalte Folgendes an:

  • Der Spaltenname
  • Eine Beschreibung dessen, was die Spalte darstellt und wie ihre Werte interpretiert werden sollten.

  Sie können neue Ausgabe hinzufügen, vorhandene Spaltennamen oder Beschreibungen bearbeiten oder Spalten nach Bedarf entfernen.Die Aufgabe „Batch-Transformation“ sollte die Logik beschreiben, die zum Ausfüllen dieser konfigurierten Spalten verwendet wird.

Websuch-Verankerung aktivieren (optional)

Das Batch-Transformationstool enthält eine optionale Websuch-Verankerungseinstellung, die steuert, ob das Modell Websuchergebnisse beim Generieren von Transformationen verwenden darf.

• Wenn aktiviert, kann das Modell die Eingabedateidaten mit Informationen ergänzen, die während der Verarbeitung jeder Zeile aus dem Web abgerufen werden.
• Wenn diese Option deaktiviert ist, wird die Transformation streng unter Verwendung des Inhalts der Eingabedatei, der in der Aufgabe definierten Anweisungen und jedes Kontexts ausgeführt, der dem Agenten explizit zur Verfügung gestellt wird.

Ausführen der Batch-Transformation

Wenn Sie den Agent ausführen oder debuggen, wird das Batch-Transformationstool als Teil der Agent-Ausführung ausgeführt:

• Die Eingabedatei wird zur Laufzeit an das Tool übergeben.
• Das Tool verarbeitet die Datei Zeile für Zeile.
• Eine transformierte Ausgabedatei wird generiert.
• Die Ausgabedatei wird als Teil der Agent-Ausgabe zurückgegeben.

Während der Ausführung wird die Batch Transform in der Execution Trace als dedizierter Toolaufruf angezeigt.Sie können diesen Schritt erweitern, um detaillierte Runtime-Informationen zu überprüfen.

Überprüfung von Ausführungsdetails

In der Execution Trace können Sie Details überprüfen, die in der Ausgabe des Toolaufrufs und gegebenenfalls der Agent-Ausgabe aufgetaucht sind.

• Eingaben – Die vom Tool verwendete Eingabedatei, einschließlich Dateiname, Typ und Metadaten (sichtbar in der Ausgabe des Tool-Aufrufs).
• Ausgaben – Die generierte Ausgabedatei, einschließlich Datei-ID, Dateiname und MIME-Typ (wird in der Ausgabe des Toolaufrufs angezeigt, wenn eine Dateiausgabe definiert ist).
• Prompt-Kontext – Die System- und Benutzer-Prompts, die während der Agent-Ausführung verwendet wurden und die erklären helfen, wie die Transformationsaufgabe ausgeführt wurde.

Sie können sowohl die Eingabe- als auch die Ausgabedateien direkt aus der Execution Trace zur Validierung oder Fehlerbehebung herunterladen.

Wenn eine Dateiausgabe definiert ist, enthält die endgültige Agent-Ausgabe in der Regel eine Bestätigungsnachricht, die angibt, dass die transformierte Datei generiert wurde, und den Namen der Ausgabedatei angibt.

Auswerten von Batch-Transformationen

Mit Auswertungen können Sie die Qualität und Korrektheit von Batch-verarbeiteten Ausgaben messen.Zusätzlich zur Auswertung der Ergebnisse auf Dateiebene unterstützen Agents eine zeilenweise Auswertung, die besonders für strukturierte Ausgaben wie CSV-Dateien nützlich ist.

Zeile‑für‑Zeile‑Auswertung

Die zeilenweise Auswertung wertet jede Zeile in einer Ausgabe-Datei unabhängig aus, anstatt die Datei als einzige Einheit auszuwerten.Dies bietet eine detaillierte Sichtbarkeit darüber, wie einzelne Datensätze anhand Ihrer Auswertungskriterien abschneiden. Dieser Modus ist besonders nützlich, wenn:

• Jede Zeile stellt eine unabhängige Entscheidung oder Klassifizierung dar.
• Sie benötigen detaillierte Pass-/Fail-Metriken über große Dateien hinweg.
• Sie möchten einzelne Fehler detailliert analysieren.

Konfigurieren der zeilenweisen Auswertung

Die zeilenweise Auswertung wird in den Einstellungen des Auswertungssatzes konfiguriert:

1. Aktivieren Sie die zeilenweise Auswertung in der Konfiguration des Auswertungssatzes.
2. Wählen Sie die Ausgabe-Datei zur Auswertung aus.Dies ist erforderlich, wenn ein Agent mehrere Ausgabedateien erzeugt.
3. Geben Sie den Dateityp (z. B. CSV) an, mit dem der Auswerter arbeiten soll.

Nach der Konfiguration werden Auswertungen für jede Zeile der ausgewählten Ausgabedatei durchgeführt.

CSV-Spalte mit exakter Übereinstimmung Evaluator

Um die strukturierte Dateiauswertung zu unterstützen, ist ein deterministischer Auswerter mit dem Namen „CSV Column Exact Match Evaluator“ verfügbar. Weitere Informationen finden Sie unter Agent-Auswertungen.

Dieser Auswerter:

• Vergleicht eine oder mehrere angegebene Spalten zwischen erwarteten und tatsächlichen Ausgaben.
• Führt einen exakten String-Abgleich durch
• Gibt Pass-/Fehlschlagergebnisse pro Zeile zurück

Der Auswerter der CSV-Spalte für exakte Übereinstimmungen eignet sich gut zur Validierung kategorischer Ausgaben wie Beschriftungen, Übereinstimmungstypen oder Statusfelder.

Ausführen und Überprüfen von Auswertungen

Nach dem Konfigurieren des Auswertungssatzes:

1. Erstellen Sie eine Auswertungsausführung mit einer Eingabedatei und der entsprechenden Ausgabedatei der Batch-Transformation.
2. Planen oder führen Sie die Auswertung aus.
3. Überprüfen Sie Ergebnisse auf zwei Ebenen:
   • Zusammenfassung auf Dateiebene, die anzeigt, wie viele Zeilen insgesamt bestanden haben oder fehlgeschlagen sind.
   • Drill-down auf Zeilenebene, der Bestehen-/Fehlstatus, Werte und Metadaten für jede einzelne Zeile zeigt.

Eine Auswertung könnte beispielsweise zeigen, dass 141 von 199 Zeilen eine exakte Aktivierung in einer bestimmten Spalte bestanden haben.Von dort aus können Sie einzelne fehlgeschlagene Zeilen untersuchen, erwartete mit tatsächlichen Werten vergleichen und Ausführungsdetails wie Latenz pro Zeile überprüfen.

Die zeilenweise Auswertung bietet:

• Klare Sichtbarkeit, welche Datensätze erfolgreich waren oder fehlgeschlagen sind.
• Schnelleres Debuggen der Transformationslogik.
• Quantitative Metriken zur Nachverfolgung von Verbesserungen im Laufe der Zeit.