Analyze Files

Analyze Files

Mit dem Tool „Dateien analysieren“ können Agents Dateiinhalte mithilfe von LLMs verarbeiten und analysieren.

Um Ihrem Agent das Tool „Dateien analysieren“ hinzuzufügen, führen Sie die folgenden Schritte aus:

1. Definieren Sie Dateieingaben. Fügen Sie im Bereich Data Manager für jede Dateieingabe in Ihrem Agentschema ein Argument hinzu.

   Abbildung 1. Erstellen von Dateieingabeargumenten

   

   Das Eingabeargument muss im Benutzer-Prompt mit der Syntax {{exampleInput}} explizit referenziert werden. Eingabeargumente, auf die nicht verwiesen wird, werden ignoriert und können sich auf die Punktzahl des Agent auswirken.

   • Legen Sie für eine einzelne Datei den Argumenttyp auf Datei fest und verweisen Sie im Benutzerprompt darauf. Beispiel: „Analysieren Sie den folgenden Bericht und fassen Sie die wichtigsten Ergebnisse zusammen: {{reportFile}} “.
   • Um mehrere Dateien zu übergeben, legen Sie den Argumenttyp auf Array und den Elementtyp auf Datei fest und verweisen Sie dann im Benutzer-Prompt auf das Argument anhand des Namens. Sie können auch optionale String-Argumente für Runtime-Anweisungen hinzufügen. Zum Beispiel:

   Analyze the following report files and summarize the key findings.
   
   ## Inputs
   - Report files: {{reportFiles}}
   - Additional instructions (optional): {{analysisInstructions}}
   

   In diesem Beispiel ist reportFiles ein Dateiargument und analysisInstructions ein optionales String- Argument. Beide müssen im Bereich Data Manager definiert werden.

   

   

2. Fügen Sie Ihrer Agent-Definition das Tool „Dateien analysieren“ hinzu:

   1. Wählen Sie im Bereich Tools die Option Tool hinzufügen aus.
   2. Wählen Sie in der Kategorie „Integrierte Tools“ die Option „Dateien analysieren“ aus.
   3. Aktualisieren Sie den Namen und die Beschreibung des Tools, damit der Agent besser darüber nachdenken kann, wann er es verwenden soll. Der Name und die Beschreibung leiten die Planungsphase des Agents – sie bestimmen, wann der Agent sich befindet, das Tool aufzurufen, und nicht, was das Tool mit den Dateien zur Runtime tut.

   

3. Legen Sie die Eingaben des Tools fest. Das Tool wird mit zwei Haupteingaben vorkonfiguriert:

   • attachments (Array): Eine durch einen Prompt definierte Eingabe, die dem Agent mitteilt, welche Dateien an das Tool übergeben werden sollen. Beschreiben Sie in diesem Feld, wie der Agent die Dateieingaben verwenden soll, auf die im Benutzerprompt verwiesen wird (z. B. {{reportFiles}}). Der Agent ordnet diese referenzierten Dateien zur Runtime automatisch dieser Eingabe zu. Beispiel: „Verwenden Sie die im Benutzerprompt bereitgestellten Dateien (z. B. {{reportFiles}}) als Eingaben für die Analyse.“
   • analysisTask (String): Eine Runtime-Anweisung, die dem LLM angibt, was mit den Dateien zu tun ist, sobald das Tool aufgerufen wird – z. B. „Analysiere diese Berichte. Extrahiere den Berichtstitel, eine Zusammenfassung, die wichtigsten Ergebnisse geordnet nach Relevanz, umsetzbare Empfehlungen und die Gesamtstimmung.“ Dies unterscheidet sich vom Namen und der Beschreibung des Tools, die festlegen, wann der Agent das Tool aufruft. Wenn Ihr Anwendungsfall nur eine Datei umfasst, können Sie Anhänge entsprechend beschreiben (z. B. „Verwende die in {{reportFile}} bereitgestellte Datei“).

4. Führen Sie den Agent mit Eingabedateien aus.

   1. Öffnen Sie das Fenster Debug-Konfiguration :
      1. Navigieren Sie zur Registerkarte Projektargumente .
      2. Laden Sie Ihre Eingabedateien hoch, die an Ihr Argument gebunden sindreportFiles.
   2. Wählen Sie Speichern aus und führen Sie die Debug-Sitzung aus.

   

5. Überprüfen Sie nach der Ausführung des Agents die Ausführungsablaufverfolgung über den unteren Bereich.

Das Tool „Dateien analysieren“ wird jetzt Ihrem Agent hinzugefügt und für die Verarbeitung von Dateieingaben konfiguriert. Die Ausführungsablaufverfolgung im Bereich Ausführungspfad zeigt, wie jede Anlage während der Ausführung verarbeitet wurde.

Ablaufverfolgungen von Dateianhängen

Bei Verwendung des Tools „Dateien analysieren“ werden alle Dateieingaben und Ausgaben im Bereich „Ausführungspfad“ auf der Registerkarte „Verlauf“ erfasst. Die Ablaufverfolgung bietet einen detaillierten Überblick darüber, wie Anhänge während der Ausführung des Agents verarbeitet wurden.

Für jede Datei zeigt die Ablaufverfolgung Folgendes an:

• ID: Ein eindeutiger Bezeichner für den Anhang.

• Name: Ursprünglicher Dateiname (z. B. 1.jpg).

• MIME-Typ: Erkannter Dateityp (z. B. image/jpeg).

  Abbildung 2. Die Dateianalyse im Ausführungspfad

  

Wählen Sie den Toolaufruf aus der Ausführungsablaufverfolgung aus und navigieren Sie zur Registerkarte Trace, um die Datei herunterzuladen.

Abbildung 3. So laden Sie eine Datei aus Ablaufverfolgungen herunter.

Bewährte Methoden und FAQ

Hinweis:

Weitere Details zur Verwendung von Dateien aus Maestro-Prozessen, RPA-Workflows, eigenständigen Agent-Ausführungen oder Processes finden Sie unter Arbeiten mit Dateien.

Mit dem Tool „Dateien analysieren“ können Agents Dokumente und Bilder mit LLMs im Prozess verarbeiten.Trotz ihrer Leistungsfähigkeit gibt es einige wichtige Einschränkungen und Verhaltensweisen, die beim Entwerfen von dateigesteuerten Agents berücksichtigt werden müssen.

Große Dateien können die Tokenlimits überschreiten

Agents verarbeiten Dateien, indem sie deren Inhalt in LLM-Prompts einbetten, die durch das Tokenlimit des Modells eingeschränkt sind. Große PDFs oder gescannte Bilddokumente können im Hintergrund fehlschlagen oder unbestimmte Fehler wie „Ein Fehler ist aufgetreten“ zurückgeben, insbesondere wenn sie das Tokenlimit des Modells überschreiten.

Zur Minderung:

• Verwenden Sie Modelle mit höherer Tokenkapazität.
• Verwenden Sie die Kontextgrundlage anstelle der vollständigen Dateieinbettung, insbesondere für große oder mehrseitige Dateien.
• Sie können Dokumente vorindizieren und sie vor oder während der Ausführung des Agents über benutzerdefinierte Tools synchronisieren.

LLMs ändern die Größe von Bildern

Wenn Bilddateien (z. B. .jpg, .png) als Teil des LLM-Prompt gesendet werden, ändern die meisten Modelle automatisch ihre Größe. Dadurch können Seitenverhältnisse verzerrt oder pixelgenaue Daten verloren gehen.

Vermeiden Sie Prompts, die auf exakten Koordinaten, Begrenzungsfeldern oder pixelausgerichteten Vergleichen basieren (z. B. Bildunterschiede, die eine bestimmte x/y-Positionierung erfordern). Weitere Informationen zum modellspezifischen Verhalten bei der Größenänderung finden Sie im Leitfaden zur Bildverarbeitung und -analyse von OpenAI.

Unterstützte Dateitypen

Folgende Dateierweiterungen werden unterstützt: GIF, JPE, JPEG, PDF, PNG, WEBP.

Die Unterstützung des Dateityps variiert je nach LLM-Anbieter. Zum Beispiel kann die PDF-Unterstützung bei einigen Anthropic-Modellen je nach Dateiname oder Codierung fehlschlagen.

Bearbeiten von großen PDF-Dateien

Große PDFs können das Tokenlimit des LLM bei vollständiger Verarbeitung überschreiten. Teilen Sie die PDF-Datei in kleinere Teile oder einzelne Seiten auf, bevor Sie sie an den Agent übergeben.

Dateilimits

Jede Datei darf 30 MB nicht überschreiten. Es gibt keine erzwungene Begrenzung für die Anzahl von Dateien pro Anforderung.

Tipps für bessere Ergebnisse

• Dateinamen müssen fehlerfrei sein: Insbesondere anthropische Modelle lehnen Dateinamen mit Sonderzeichen oder wiederholten Leerzeichen ab.
• Halten Sie die Anzahl der Bilder niedrig: Einige Modelle wie GPT-4o unterstützen maximal 10 bis 50 Bilder pro Anforderung.