Konfigurieren von Simulationen für Agententools

Hinweis: Diese Funktion ist in der Vorschau verfügbar.

Toolsimulationen bewegen Agents dazu, ihr Verhalten mithilfe synthetischer Eingaben und Ausgaben anstelle von echten API-Aufrufen zu testen, was eine sichere, schnelle und reproduzierbare Entwicklung unterstützt. In der Entwurfsphase definierte Simulationen ahmen mithilfe beispielhafter json-Eingaben/-Ausgaben realistische Interaktionen unter Beibehaltung der Leitplanken und Ausführungsbeschränkungen nach.

So richten Sie Toolsimulationen ein

Wenn Sie Ihrem Agent ein Tool hinzufügen, können Sie auswählen, wie der Agent mit dem Tool interagiert:

• Simulieren Sie den Toolaufruf – Der Agent verwendet die von der Simulationsengine generierte synthetische Eingabe/Ausgabe (keine echten API-Aufrufe).
• Das echte Tool aufrufen – Der Agent führt wie konfiguriert Live-API-Anfragen aus.

Diese Einstellung wird in der Entwurfsphase definiert und bleibt automatisch in den Auswertungsläufen erhalten.

So konfigurieren Sie die Simulationseinstellungen für ein Tool:

1. Fügen Sie das Tool Ihrer Agentendefinition hinzu.
2. Wählen Sie den Toolknoten in der Agent-Arbeitsfläche aus.
3. Suchen Sie im Eigenschaftenbereich den Abschnitt Simulationseinstellungen.
4. Geben Sie beispielhafte Eingabe- und Ausgabewerte im JSON-Format ein. Diese Beispiele helfen dem Simulations-LLM, realistische Tool-Interaktionen nachzuahmen, indem es gemäß dem erwarteten Schema und der erwarteten Logik Ihres Tools handelt.
5. (Optional) Fügen Sie für eine vielfältigere Simulation mehrere Beispiele hinzu. Durch die Bereitstellung von Beispielen können Sie die Genauigkeit und Relevanz der simulierten Ausgaben während der Testläufe verbessern.

Sie können beim Konfigurieren von Auswertungen auch Simulationen einrichten. Weitere Informationen finden Sie unter Konfigurieren von Simulationen in Auswertungen.

Abbildung 1. Hinzufügen einer Beispieleingabe für eine Toolsimulation

Leitplanken und Ausführungsverhalten im Simulationsmodus

Simulierte Toolausführungen behalten vorhandene Leitplanken und Ausführungsbeschränkungen des Tools bei, genau wie bei einer echten Ausführung. Dadurch wird sichergestellt, dass:

• Das simulierte Verhalten die realen Sicherheitsbedingungen widerspiegelt.
• Agents während des Tests keine Richtliniendurchsetzung oder Aufrufbeschränkungen umgehen können.

Simulationsläufe sind transparent gekennzeichnet und dank der folgenden integrierten Verhaltensweisen leicht zu inspizieren:

• Kennzeichnung der Ablaufverfolgung: Jede Simulation ist sowohl in der Streamingansicht der Ausführung als auch in den persistenten Ablaufverfolgungsprotokollen klar gekennzeichnet.
• Eindeutige Metadaten: Jede simulierte Ablaufverfolgung enthält Metadaten, die sie als simuliert kennzeichnen, was Folgendes ermöglicht:

  • Einfache Fehlerbehebung

  • Zuverlässige Filterung
  • Genaue Klassifizierung des Laufs

Dadurch wird sichergestellt, dass Sie simuliertes und echtes Verhalten unterscheiden, die Agentenlogik mittels Ablaufverfolgung verfolgen und die Ergebnisse konsistent reproduzieren können.

Sie können simulierte Ausführungen zu Evaluierungssätzen hinzufügen, um die Testabdeckung zu erweitern, ohne echte Endpunkte aufrufen zu müssen. Zu den wichtigsten Merkmalen dieser Funktion gehören:

• Simulierte Ausführungen werden innerhalb von Evaluierungssätzen klar als simuliert gekennzeichnet.

• Ihre entsprechenden Spuren behalten das Simulations-Tag durchgängig bei.

• Evaluierungssätze können eine Mischung aus realen und simulierten Ausführungen enthalten, um vergleichende Tests und eine breitere Szenariovalidierung zu unterstützen.

Testkonfiguration mit Simulationen

Sie können auch Simulationen konfigurieren, wenn Sie Testläufe über den BereichTestkonfiguration starten.

Um Simulationen in der Testkonfiguration zu aktivieren:

1. Schließen Sie die Definition und Evaluierung Ihres Agents ab.
2. Wählen Sie die Auswahlliste Test in der Cloud.
3. Wählen Sie Testkonfiguration.
4. Wählen Sie im Bereich Testkonfiguration die Registerkarte Projektargumente. Hier können Sie:
   • Eingabedaten für Ihren Testlauf generieren.
   • Den Simulationsmodus für ausgewählte Tools und/oder Eskalationen aktivieren.
   • Eingabe-/Ausgabebeispiele oder Simulationsanweisungen bereitstellen, die definieren, wie sich die Tools verhalten sollen.
5. Den Test starten, um den Agentenpfad mithilfe der bereitgestellten Konfiguration zu simulieren.

Abbildung 2. Konfigurieren von Toolsimulationen im Testkonfigurationsfenster

Unabhängig davon, wo Simulationen gestartet werden (Evaluierungen oder Testkonfigurationen) – alle simulierten Ausführungen:

• Sind in Streaming- und persistenten Protokollen der Ablaufverfolgung klar gekennzeichnet.
• Behalten Metadaten bei, um sie von echten Ausführungen zu unterscheiden.
• Behalten dieselben Toolleitplanken und dieselbe Validierungslogik wie bei echten Toolausführungen bei.
• Sind vollständig nachverfolgbar, damit Sie zuverlässig debuggen und Testverwirrung vermeiden können.