Analyze Files

Fügen Sie das Tool „Dateien analysieren“ zu einem Agents-Projekt hinzu, um Dateiinhalte mithilfe von LLMs zu verarbeiten und analysieren.

Mit dem Tool „Dateien analysieren“ können Agents Dateiinhalte mithilfe von LLMs verarbeiten und analysieren.

Das Tool „Dateien analysieren“ hinzufügen

Um Ihrem Agent das Tool „Dateien analysieren“ hinzuzufügen, führen Sie die folgenden Schritte aus:

1. Definieren Sie Dateieingaben. Fügen Sie im Bereich Data Manager ein Argument für jede Dateieingabe in Ihrem Agent-Schema hinzu.

   Abbildung 1. Erstellen von Dateieingabeargumenten

   

   Das Eingabeargument muss im Benutzer-Prompt mit der Syntax {{exampleInput}}explizit referenziert werden.Eingabeargumente, auf die nicht verwiesen wird, werden ignoriert und können sich auf die Punktzahl des Agenten auswirken.

   • Legen Sie für eine einzelne Datei den Argumenttyp auf Datei fest und verweisen Sie im Benutzer-Prompt darauf. Zum Beispiel: „Analysiere den folgenden Bericht und fassen Sie die wichtigsten Ergebnisse zusammen: {{reportFile}}“.
   • Um mehrere Dateien zu übergeben, legen Sie den Argumenttyp auf Array und den Elementtyp auf Datei fest und verweisen Sie dann im Benutzer-Prompt auf das Argument anhand des Namens. Sie können auch optionale String-Argumente für Runtime-Anweisungen hinzufügen. Zum Beispiel:

   Analyze the following report files and summarize the key findings.
   
   ## Inputs
   - Report files: {{reportFiles}}
   - Additional instructions (optional): {{analysisInstructions}}
   

   In diesem Beispiel reportFiles ist ein Array von Dateien-Argument und analysisInstructions ein optionales String-Argument vorhanden.Beide müssen im Bereich Data Manager definiert werden.

   

2. Fügen Sie Ihrer Agent-Definition das Tool „Dateien analysieren“ hinzu:

   1. Wählen Sie im Bereich Tools die Option Tool hinzufügen aus.
   2. Wählen Sie in der Kategorie „Integrierte Tools“ die Option „Dateien analysieren“ aus.
   3. Aktualisieren Sie den Namen und die Beschreibung des Tools, damit der Agent besser entscheiden kann, wann er es verwenden soll.Der Name und die Beschreibung leiten die Planungsphase des Agents – sie bestimmen darüber, wann der Agent beschließt, das Tool aufzurufen, nicht was das Tool zur Runtime mit den Dateien macht.

   

3. Legen Sie die Eingaben des Tools fest. Das Tool wird mit zwei Haupteingaben vorkonfiguriert:

   • attachments (Array): Eine per Prompt definierte Eingabe, die dem Agent mitteilt, welche Dateien an das Tool weitergegeben werden sollen. Beschreiben Sie in diesem Feld, wie der Agent die Dateieingaben verwenden soll, auf die der Benutzerprompt verweist (z. B. {{reportFiles}}). Der Agent ordnet diese Dateien, auf die er verweist, automatisch zur Runtime dieser Eingabe zu. Beispiel: „Verwende die im Benutzer-Prompt bereitgestellten Dateien (z. B. {{reportFiles}}) als Eingaben für die Analyse.“
   • analysisTask (String): Eine Runtime-Anweisung, die dem LLM angibt, was mit den Dateien zu tun ist, sobald das Tool aufgerufen wird – z. B. „Analysiere diese Berichte. Extrahiere den Berichtstitel, eine Zusammenfassung, die wichtigsten Ergebnisse geordnet nach Relevanz, umsetzbare Empfehlungen und die Gesamtstimmung.“ Dies unterscheidet sich vom Namen und der Beschreibung des Tools, die festlegen, wann der Agent das Tool aufruft. Wenn Ihr Anwendungsfall nur eine Datei umfasst, können Sie Anhänge entsprechend beschreiben (z. B. „Verwende die in {{reportFile}} bereitgestellte Datei“).

4. Führen Sie den Agent mit Eingabedateien aus.

   1. Öffnen Sie das Fenster Debug-Konfiguration :
      1. Navigieren Sie zur Registerkarte Projektargumente .
      2. Laden Sie Ihre Eingabedateien hoch, die an Ihr Argument gebunden sindreportFiles.
   2. Wählen Sie Speichern aus und führen Sie die Debug-Sitzung aus.

   

5. Überprüfen Sie nach der Ausführung des Agents die Ausführungsablaufverfolgung über den unteren Bereich.

Das Tool Dateien analysieren wird jetzt zu Ihrem Agenten hinzugefügt und für die Verarbeitung von Dateieingaben konfiguriert. Der Ausführungs-Trace im Bereich Ausführungspfad zeigt, wie die einzelnen Anlagen während der Ausführung behandelt wurden.

Ablaufverfolgungen von Dateianhängen

Bei Verwendung des Tools „Dateien analysieren“ werden alle Dateieingaben und Ausgaben im Bereich „Ausführungspfad“ auf der Registerkarte „Verlauf“ erfasst. Die Ablaufverfolgung bietet einen detaillierten Überblick darüber, wie Anhänge während der Ausführung des Agents verarbeitet wurden.

Für jede Datei zeigt die Ablaufverfolgung Folgendes an:

• ID: Ein eindeutiger Bezeichner für den Anhang.

• Name: Ursprünglicher Dateiname (z. B. 1.jpg).

• MIME-Typ: Erkannter Dateityp (z. B. image/jpeg).

  Abbildung 2. Die Dateianalyse im Ausführungspfad

  

Wählen Sie den Toolaufruf aus der Ausführungsablaufverfolgung aus und navigieren Sie zur Registerkarte Trace, um die Datei herunterzuladen.

Abbildung 3. So laden Sie eine Datei aus Ablaufverfolgungen herunter.

Bewährte Methoden und FAQ

Hinweis:

Weitere Details zur Verwendung von Dateien aus Maestro-Prozessen, RPA-Workflows, eigenständigen Agent-Ausführungen oder Processes finden Sie unter Arbeiten mit Dateien.

Mit dem Tool „Dateien analysieren“ können Agents Dokumente und Bilder mit LLMs im Prozess verarbeiten.Trotz ihrer Leistungsfähigkeit gibt es einige wichtige Einschränkungen und Verhaltensweisen, die beim Entwerfen von dateigesteuerten Agents berücksichtigt werden müssen.

Dateilimits

Jede Datei darf 30 MB nicht überschreiten. Es gibt keine erzwungene Begrenzung der Anzahl der Dateien pro Anforderung.

Unterstützte Dateitypen

The Analyze Files tool supports the following file types: .pdf, .gif, .jpg, .jpeg, .png, .tiff, .webp.

Support for different formats may vary depending on the selected LLM provider and model. Results may also vary between providers and models, especially for files that contain charts, embedded images, or complex layouts.

Dateiunterstützung für benutzerdefinierte LLM-Konfigurationen

The supported file types are the same when you use the Bring Your Own LLM capability through AI Trust Layer. Configuring a provider, model family, or API Type whose underlying model accepts other formats does not extend the file types that the Analyze Files tool accepts. For details on configuring a custom LLM, refer to Configuring LLMs.

So funktioniert die Dateiverarbeitung

Wenn eine Datei an ein LLM übergeben wird, erhält das Modell die Originaldatei nicht im vorliegenden Zustand. Die meisten Anbieter wenden einen Vorverarbeitungsschritt an, bevor der Inhalt dem Modellkontext hinzugefügt wird. Das Vorverarbeitungsverhalten hängt vom Dateityp ab.

PDF files can be processed as both extracted text and page images on vision-capable models. Image files are passed to the model as images, subject to the resizing behavior described in LLMs resize images.

Providers such as OpenAI, AWS Bedrock, and Vertex AI may use different preprocessing approaches, and the exact implementation details are provider-specific and may not be fully documented.

Große Dateien können die Tokenlimits überschreiten

Agents verarbeiten Dateien, indem sie deren Inhalt in LLM-Prompts einbetten, die durch das Tokenlimit des Modells eingeschränkt sind. Große PDFs oder gescannte Bilddokumente können im Hintergrund fehlschlagen oder unbestimmte Fehler wie „Ein Fehler ist aufgetreten“ zurückgeben, insbesondere wenn sie das Tokenlimit des Modells überschreiten.

Zur Minderung:

• Verwenden Sie Modelle mit höherer Tokenkapazität.
• Verwenden Sie abruforientierte Funktionen wie die Dateisuche oder Kontextgrundlage, insbesondere für große oder mehrseitige Dateien.
• Sie können Dokumente vorindizieren und sie vor oder während der Ausführung des Agents über benutzerdefinierte Tools synchronisieren.

Umgang mit großen PDFs

Große PDFs können das Tokenbudget des LLM bei vollständiger Verarbeitung überschreiten. Teilen Sie die PDF in kleinere Teile oder einzelne Seiten auf, bevor Sie sie an den Agent weitergeben.

LLMs ändern die Größe von Bildern

Wenn Bilddateien (z. B. .jpg, .png) als Teil des LLM-Prompt gesendet werden, ändern die meisten Modelle automatisch ihre Größe. Dadurch können Seitenverhältnisse verzerrt oder pixelgenaue Daten verloren gehen.

Vermeiden Sie Prompts, die auf exakten Koordinaten, Begrenzungsfeldern oder pixelausgerichteten Vergleichen basieren (z. B. Bildunterschiede, die eine bestimmte x/y-Positionierung erfordern). Weitere Informationen zum modellspezifischen Verhalten bei der Größenänderung finden Sie im Leitfaden zur Bildverarbeitung und -analyse von OpenAI.

Tipps für bessere Ergebnisse

• Dateinamen müssen fehlerfrei sein: Insbesondere anthropische Modelle lehnen Dateinamen mit Sonderzeichen oder wiederholten Leerzeichen ab.
• Halten Sie die Anzahl der Bilder niedrig: Einige Modelle wie GPT-4o unterstützen maximal 10 bis 50 Bilder pro Anforderung.
• Use PDF format when layout, charts, or diagrams are important.