Best Practices für das Veröffentlichen und Bereitstellen von Agents

Um sicherzustellen, dass Ihr Roboter robust und produktionsbereit ist und mit Unternehmensstandards übereinstimmt, befolgen Sie vor dessen Veröffentlichung und Bereitstellung im Orchestrator diese bewährten Verfahren. Diese Schritte decken die Validierung, Governance und Bereitschaft während des gesamten Lebenszyklus des Roboters ab.

Schnellstart – Wichtigste Schritte

Vor der Veröffentlichung müssen Sie sicherstellen, dass diese Basisprüfungen abgeschlossen sind:

Tabelle 1. Validierungsschritte bei der Veröffentlichung von Agents

Wichtigster Prüfpunkt	Was überprüft werden muss	Wo das gemacht werden soll
Prompts und Beispiele finalisiert	Der System-/Benutzerprompt enthält Rolle, Einschränkungen, 3 bis 5 eingabegesteuerte Beispiele	Agent Builder → System- und Benutzerprompt
Beschriebene und gebundene Tools	Alle Tools haben einen Namen, eine Beschreibung und ein Eingabe-/Ausgabeschema.	Agent Builder → Tools
Leitplankenprotokollierung aktiviert (optional)	Toolaufrufe werden für die Prüfung/Fehlersuche protokolliert (in der Konfiguration der Leitplanken aktivieren)	Tools → Leitplankengenerator
Verbundene Kontextquellen	Mindestens eine relevante Wissensdatenbank ist verankert	Kontextgrundlage → Quellen
≥30 interaktive Tests durchgeführt	Manuelle Tests decken typische, Rand- und falsch formatierte Eingaben ab	Agent Builder → Testausführung
Erstellte Evaluationssätze	≥30 kuratierte Testfälle, die die Nutzung in der Praxis abdecken	Agent Builder → Registerkarte „Evaluierungen“
Evaluierungsleistung validiert	Punktzahl für Auswertungssätze ≥ 70 % ohne Regressionen	Agent Builder → Registerkarte „Evaluierungen“

Tipp: Sie können diese Prüfpunkte als Checkliste vor der Bereitstellung verwenden und in Ihren eigenen Veröffentlichungsprozess integrieren.

Definition Ihrer Agents finalisieren

Stellen Sie vor der Veröffentlichung sicher, dass Ihr Agent vollständig im Scope, auf Prompts ausgerichtet und kontextspezifisch ist.

• Scope und Grenzen definieren: Listen Sie In-Scope- und Out-of-Scope-Absichten im Systemprompt auf. Stellen Sie sicher, dass Tools und Eskalationspfade diesen Grenzen entsprechen, um ein Verschieben des Scopes zu vermeiden.
• Prompts und Argumente optimieren: Schreiben Sie strukturierte System- und Benutzerprompts. Verwenden Sie praxisbezogene Beispiele für Eingabeargumente. Validieren Sie Eingaben, um sich vor falsch formatierten oder schädlichen Daten zu schützen.
• Gehen Sie nach dem Prinzip des wenigsten Kontexts vor: Übergeben Sie nur den wichtigsten Kontext an das LLM. Verwenden Sie die Kontextgrundlage zur Vermeidung aufgeblähter Payloads.
• Vollständige Beschreibungen von Tools und Leitplanken: Geben Sie für jedes Tool einen Namen, einen Zweck, ein Schema und Nebenwirkungen an. Fügen Sie Protokollierung, Filter, Wiederholungen und Eskalationsverhalten hinzu.
• Normalisieren der Toolausgabe: Stellen Sie sicher, dass alle Tools konsistent strukturierte Antworten zurückgeben, um Runtime-Probleme zu vermeiden.
• Verbinden von relevanten Kontextquellen: Fügen Sie erforderliche Indexe hinzu und optimieren Sie die Schwellenwerte für Relevanz und Frische.

Validierung durch Tests und Evaluierung

Sie sollten die Leistung, Belastbarkeit und Argumentationsqualität validieren.

• Ausführen von interaktiven Tests: Testen Sie mindestens 30 verschiedene Szenarien, einschließlich Grenzfälle, fehlerhaft formatierte Eingaben und mehrsprachige Beispiele.
• Evaluierung mit kuratierten Testsätzen: Erstellen Sie ≥30 Testfälle mit aussagekräftigen Evaluierungsmethoden. Verwenden Sie Methoden wie LLM-als-Richter, den exakten Abgleich oder die Trajektorienbewertung.
• Sicherstellen der Leistungsstabilität: Verfolgen Sie die Punktzahlen bei Änderungen von Prompts oder Tools. Streben Sie vor der Bereitstellung eine einheitliche Bewertung von mindestens 70 % an.

Vorbereitung auf die Bereitstellung in der Produktion

Validieren Sie nachgelagerte Integrationen und die Bereitschaft der Infrastruktur.

• Durchführen von Smoke-Tests über Workflows: Lösen Sie den Agent über Studio oder Maestro aus, um den End-to-End-Datenfluss und die Erfolgsbehandlung zu überprüfen.

• Überprüfung der Plattformbereitschaft: Bestätigen Sie die Zugangsdaten, Ordner, RBAC und die Mandantenkonfiguration in Orchestrator.

• Überprüfung von Ablaufverfolgung und Protokollen: Überprüfen Sie die Ablaufverfolgungen auf lange Prompts, ineffiziente Toolnutzung oder zu viele abgerufene Kontexte hin.

• Aktivierung der Eskalation über Human-in-the-Loop: Konfigurieren Sie Eskalations-Apps und überprüfen Sie die Bearbeitung des Ergebnisses. Übergeben Sie relevante Transkripte und Gedächtnisaktualisierungen.

Implementieren von Governance und Freigabekontrollen

Behandeln Sie Ihre Agents wie Unternehmenssoftware: Versioniert, überprüft und verwaltet.

• Beibehaltung von Versionierungen und Änderungsprotokollen: Verwenden Sie die semantische Versionierung und verfolgen Sie Änderungen für Verhaltensprüfungen und Rollback.
• Erfassung von Genehmigungsworkflows: Holen Sie sich vor der Bereitstellung in der Produktion die Zustimmung von den Sicherheitsteams, den Ops- und dem Produktteam.
• Entwerfen einer Betriebsdokumentation: Erstellen Sie ein Runbook und eine Schnellstartanleitung. Dazu gehören Eingaben/Ausgaben, Rotation der Zugangsdaten und Wiederherstellungsschritte.
• Schulung des Supportteams: Gehen Sie die Agentenlogik sowie die Verfahren bei einer Eskalation und einem Fallback durch.

Überwachen und Optimierungen nach der Bereitstellung

Auch nach dem Start muss auf die Qualität des Agents geachtet werden. Integrieren Sie ständig Verbesserungen.

• Planen Sie eine schrittweise Bereitstellung: Verwenden Sie Canary-Bereitstellungen oder Traffic Splitting, um das Verhalten bei geringem Volumen zu validieren.
• Planen Sie eine ständige Bewertung: Führen Sie Evaluierungssätze regelmäßig erneut aus. Überwachen Sie die Ablaufverfolgung auf Drift und Leistungseinbußen.
• Regelmäßig Überprüfungen: Überprüfen Sie Prompts, Tools und Kontext vierteljährlich, um Änderungen an Geschäftsregeln oder Datenquellen zu berücksichtigen.