Bewährte Verfahren zum Erstellen von Agents

Agents für echte Workflows entwerfen

Effektive Agents sind keine eigenständigen Bots, sondern in klar definierten Workflows eingebettet. Beginnen Sie mit einem Workflow, der bereits in Ihren Geschäftsprozessen vorhanden ist, und identifizieren Sie wiederholbare, regelbasierte Aufgaben. Solche Aufgaben eignen sich optimal für die Automatisierung mit Agents.

Gehen Sie vor der Erstellung genau den Workflow durch:

• Identifizieren Sie Entscheidungspunkte und Eingabe-/Ausgabeformate.
• Suchen Sie nach strukturierten, vorhersehbaren Flüssen (z. B. Ticket-Triage, Compliance-Prüfungen).
• Entwerfen Sie keine Agents als Ersatz für Workflows. Agents sind Komponenten, die eine Entscheidungsfindung innerhalb von Workflows ermöglichen.

Tipp: Verwenden Sie Muster für Plug-and-Play-Agent für eine schnelle Skalierung bei gleichzeitiger Verwaltung des Risikomanagements.

Scope eng eingrenzen und spezialisieren

Agents bieten eine optimale Leistung, wenn sie aufgabenspezifisch und tätigkeitsbezogen sind. Vermeiden Sie eine Überlastung von Agents mit mehreren Rollen. Eine gute Vorgehensweise ist, jedem Agent eine einzige Tätigkeit zuzuordnen (z. B. Extrahieren von Rechnungsdaten, Kundenabsichten klassifizieren).

Vorteile eines engen Rahmens:

• Einfachere Fehlersuche und Iteration
• Stabilere Leistung und Evaluierung
• Geringeres Risiko einer Fehlausrichtung oder von Halluzinationen

Klare und iterative Prompts

Das Design von Prompts ist entscheidend für das Verhalte eines Agents. Verwenden Sie agentisches Prompting, einen weiterentwickelten Promptingstil, der Folgendes umfasst:

• Definierte Rollen und Personen
• Explizite Aufgabenaufschlüsselungen und Anweisungen zur Argumentation
• Anleitung zur Ausgabeformatierung und Fehlerbehandlung

Anstatt beispielsweise zu fragen: „Fass dieses Dokument zusammen“, könnte ein agentenbasierter Prompt lauten: „Sie sind ein Compliance-Analyst.“ Teile dieses Richtliniendokument in Abschnitte auf. Zusammenfassungen für jeden Abschnitt in zwei Sätzen zusammenfassen und potenzielle Richtlinienlücken kennzeichnen Erklären Sie, wie Sie das Dokument segmentiert haben.“

Anstatt Eingabe-/Ausgabebeispiele in Prompts hart zu codieren, verwenden Sie strukturierte Bewertungssätze, um Grenzfälle und Szenarien zu testen. Dadurch wird Ihr Agent robuster und einfacher zu iterieren.

Iterieren Sie systematisch Ihre Prompts:

• Passen Sie die Struktur, Rollen und Argumentationspfade an.
• Verfolgen Sie Änderungen bei Genauigkeit, Abdeckung und Erfolg von Aufgaben.
• Verwenden Sie Tools wie Prompt-Linting und die Agent Builder-Umgebung zum Experimentieren.

Tipp: Verwenden Sie Englisch als Standardsprache. Agents erzielen die besten Ergebnisse, wenn Prompts, Schemadefinitionen und Toolanweisungen auf Englisch verfasst sind. Die Verwendung von nicht-englischen Zeichen kann sich auf Toolaufrufe oder das Funktionsparsing auswirken.

Strukturierte Eingaben machen

Verarbeiten Sie Daten vor, bevor sie den Agent erreichen. Verwenden Sie Technologien wie Document Understanding und IXP, um strukturierte Eingaben zu extrahieren. Das Einspeisen von Rohdaten oder störenden Daten in einen Agent verschlechtert die Ausgabequalität und erhöht die Komplexität des Prompts.

Erfolgskriterien und Evaluierungsstrategien definieren

Ihre Agents brauchen klare, messbare Ziele, um zuverlässig zu sein. Entwerfen Sie KPIs und Auswertungsmechanismen:

• Schwellenwerte für die Genauigkeit
• Bewertung des Vertrauens
• Konsistenz der Antworten
• Transparenz der Argumentation

Stellen Sie nicht einfach die Frage „Hat es funktioniert?“, sondern sehen Sie sich an, wie es funktioniert. Werten Sie anhand von Ablaufverfolgungs- und Auftragsprotokolle Toolaufrufe, Entscheidungsketten und die Kontextnutzung aus.

Erstellen Sie Evaluierungsdatensätze, die Randfälle, Kontextvarianz und domain-spezifische Bedingungen testen. Folgendes sollte enthalten sein:

• Adversarielle Eingaben
• Kontextarme Abfragen
• Unerwartete Formatierung
• Tests zu Systemgrenzen

Human-in-the-Loop (HITL)-Eskalation implementieren

Agents sollten wissen, wann sie um Hilfe bitten müssen. Integrieren Sie HITL-Eskalationspfade, um Folgendes zu verarbeiten:

• Missing data
• Toolfehler
• Mehrdeutige Entscheidungen
• Ausnahmen von Vorschriften oder Geschäftsregeln

Verwenden Sie die innere Schleife für schnelle Eskalationen und die äußere Schleife für strukturierte Genehmigungen. Jede Eskalation sollte:

• Speicheraktualisierungen auslösen.
• Das zukünftige Verhalten des Agents beeinflussen.
• Die Nutzung von Support-Tools optimieren.

Arbeiten Sie mit Richtlinien und Namenskonventionen.

Definieren Sie Tools anhand von:

• Kleinbuchstaben, alphanumerischen Namen
• Ohne Sonderzeichen oder Leerzeichen
• Beschreibenden, funktionsbasierten Beschriftungen (z. B. web_search, document_analysis)

Dadurch wird die Kompatibilität mit der Parsing- und Aufruflogik des LLM (Large Language Model) sichergestellt.

Setzen Sie mit Leitplanken Sicherheit und Governance durch:

• Filtern oder blockieren Sie unsichere Tooleingaben.
• Eskalieren Sie bei Bedarf die Toolnutzung an Menschen.
• Protokollieren und überwachen Sie Interaktionen von Tools im Hinblick auf die Einhaltung von Vorschriften.

Überwachen von Agents nach der Bereitstellung

Ihr Agent ist nach der Bereitstellung noch nicht fertig. Richten Sie einen Überwachungs- und Neukalibrierungsprozess ein:

• Vergleichen Sie die Leistung mit den Runtime-Daten.
• Suchen Sie nach Abweichungen in der Toolverwendung oder Logik.
• Führen Sie konsistentes Benchmarking durch.
• Verwenden Sie die Feedbackschnittstelle für die Ablaufverfolgung zur Optimierung des Agentengedächtnis und Verbesserung zukünftiger Verhaltensweisen.

Hinweis: Modellieren Sie lange, deterministische Workflows mit harten Geschäftsregeln möglichst nicht direkt in Agents. Nutzen Sie stattdessen die Standardautomatisierung oder BPMN-Orchestrierung.