Analyze Files

Analyze Files

Mit dem Tool „Dateien analysieren“ können Agents Dateiinhalte mithilfe von LLMs verarbeiten und analysieren.

Um Ihrem Agent das Tool „Dateien analysieren“ hinzuzufügen, führen Sie die folgenden Schritte aus:

1. Definieren Sie Dateieingaben. Fügen Sie im Bereich Data Manager Ihrem Agentschema für Dateieingaben Argumente hinzu. Diese sollten vom Typ File sein.

   Abbildung 1. Erstellen von Dateieingabeargumenten

   

   Wichtig:

   Das Eingabeargument muss im Benutzer-Prompt mit der Syntax {{exampleInput}}explizit referenziert werden.Eingabeargumente, auf die nicht verwiesen wird, werden ignoriert und können sich auf die Punktzahl des Agent auswirken.

2. Fügen Sie Ihrer Agent-Definition das Tool „Dateien analysieren“ hinzu:

   1. Wählen Sie im Bereich Tools die Option Tool hinzufügen aus.
   2. Wählen Sie in der Kategorie „Integrierte Tools“ die Option „Dateien analysieren“ aus.
   3. Aktualisieren Sie den Namen und die Beschreibung des Tools, damit der Agent besser darüber nachdenken kann, wann er es verwenden soll.

   

3. Grundlegendes zu den Eingaben des Tools. Das Tool wird mit zwei Haupteingaben vorkonfiguriert:

   • attachments (Array): Liste einer oder mehrerer zu analysierender Dateien.
   • analysisTask (Zeichenfolge): Ein Prompt oder eine Anweisung, die die Aufgabe beschreibt. Wenn Ihr Anwendungsfall nur eine Datei umfasst, können Sie die Eingabebeschreibung aktualisieren, um zu erkennen, dass es sich um einen einzigen Anhang handelt.

4. Führen Sie den Agent mit Eingabedateien aus.

   1. Öffnen Sie das Fenster Debug-Konfiguration :
      1. Navigieren Sie zur Registerkarte Projektargumente .
      2. Laden Sie Ihre Eingabedateien hoch, die an Ihr Argument gebunden sindattachments.
   2. Wählen Sie Speichern und führen Sie die Debugging-Sitzung aus.

5. Überprüfen Sie nach der Ausführung des Agents die Ausführungsablaufverfolgung über den unteren Bereich.

Ablaufverfolgungen von Dateianhängen

Bei Verwendung des Tools „Dateien analysieren“ werden alle Dateieingaben und Ausgaben im Bereich „Ausführungspfad“ auf der Registerkarte „Verlauf“ erfasst. Die Ablaufverfolgung bietet einen detaillierten Überblick darüber, wie Anhänge während der Ausführung des Agents verarbeitet wurden.

Für jede Datei zeigt die Ablaufverfolgung Folgendes an:

• ID: Ein eindeutiger Bezeichner für den Anhang.

• Name: Ursprünglicher Dateiname (z. B. 1.jpg).

• MIME-Typ: Erkannter Dateityp (z. B. image/jpeg).

  Abbildung 2. Die Dateianalyse im Ausführungspfad

  

Wählen Sie den Toolaufruf aus der Ausführungsablaufverfolgung aus und navigieren Sie zur Registerkarte Trace, um die Datei herunterzuladen.

Abbildung 3. So laden Sie eine Datei aus Ablaufverfolgungen herunter.

Bewährte Methoden und FAQ

Tipp:

Weitere Details zur Verwendung von Dateien aus Maestro-Prozessen, RPA-Workflows, eigenständigen Agent-Ausführungen oder Processes finden Sie unter Arbeiten mit Dateien.

Mit dem Tool „Dateien analysieren“ können Agents Dokumente und Bilder mit LLMs im Prozess verarbeiten.Trotz ihrer Leistungsfähigkeit gibt es einige wichtige Einschränkungen und Verhaltensweisen, die beim Entwerfen von dateigesteuerten Agents berücksichtigt werden müssen.

Große Dateien können die Tokenlimits überschreiten

Agents verarbeiten Dateien, indem sie deren Inhalt in LLM-Prompts einbetten, die durch das Tokenlimit des Modells eingeschränkt sind. Große PDFs oder gescannte Bilddokumente können im Hintergrund fehlschlagen oder unbestimmte Fehler wie „Ein Fehler ist aufgetreten“ zurückgeben, insbesondere wenn sie das Tokenlimit des Modells überschreiten.

Zur Minderung:

• Verwenden Sie Modelle mit höherer Tokenkapazität.
• Verwenden Sie die Kontextgrundlage anstelle der vollständigen Dateieinbettung, insbesondere für große oder mehrseitige Dateien.
• Sie können Dokumente vorindizieren und sie vor oder während der Ausführung des Agents über benutzerdefinierte Tools synchronisieren.

LLMs ändern die Größe von Bildern

Wenn Bilddateien (z. B. .jpg, .png) als Teil der LLM-Eingabeaufforderung gesendet werden, ändern die meisten Modelle sie automatisch in ihrer Größe. Dadurch können Seitenverhältnis verzerrt werden oder pixelgenaue Daten verloren gehen.

Vermeiden Sie Eingabeaufforderungen, die auf exakten Koordinaten, Begrenzungsfeldern oder Pixel-ausrichtenden Vergleichen basieren (z. B. Bildvergleiche, die eine bestimmte x-/y-Positionierung erfordern. Weitere Informationen zu modellspezifischem Größenanpassungsverhalten finden Sie im Bildvisions-Handbuch von OpenAI .

Unterstützte Dateitypen

Folgende Dateierweiterungen werden unterstützt: GIF, JPE, JPEG, PDF, PNG, WEBP.

Die Unterstützung des Dateityps variiert je nach LLM-Anbieter. Zum Beispiel kann die PDF-Unterstützung bei einigen Anthropic-Modellen je nach Dateiname oder Codierung fehlschlagen.

Tipps für bessere Ergebnisse

• Wenn Sie mit langen PDF-Dateien arbeiten, sollten Sie sie in kleinere Teile oder Seiten aufteilen, bevor Sie sie an den Agent übergeben.
• Dateinamen müssen fehlerfrei sein: Insbesondere anthropische Modelle lehnen Dateinamen mit Sonderzeichen oder wiederholten Leerzeichen ab.
• Halten Sie die Anzahl der Bilder niedrig: Einige Modelle wie GPT-4o unterstützen maximal 10 bis 50 Bilder pro Anforderung.