Auswahl des besten Modells für Ihren Agenten

Die Auswahl des richtigen Modells definiert, wie sich Ihr Agent in realen Szenarien verhält. Das Modell beeinflusst Genauigkeit, Stabilität, Geschwindigkeit und Kosten.

Die Auswahl eines Modells für einen Agenten ist ein iterativer Prozess und keine einmalige Entscheidung.Während des Entwurfs wählen Sie ein erstes Modell aus, damit Sie den Agent erstellen und testen können. Diese Auswahl können Sie später optimieren, sobald Ihnen gezeigt wird, wie sich verschiedene Modelle mit Ihren Eingaben, Tools, Daten und Fehlerszenarien verhalten. Evaluierungen zeigen oft, dass ein kostengünstigeres Modell die gleichen Qualitätsanforderungen wie eine teurere Option erfüllt oder dass ein anderes Modell in bestimmten Randfällen zuverlässiger funktioniert.

In diesem Abschnitt können Sie die Modelleinstellungen verstehen, bewährte Verfahren anwenden und die Schritte ausführen, die erforderlich sind, um das effektivste und kosteneffizienteste Modell für Ihren Anwendungsfall auszuwählen.

Verstehen Sie die Modelleinstellungen.

Modelleinstellungen steuern, wie das zugrunde liegende KI-Modell Ausgaben durch Steuerelemente erzeugt.Zwei Einstellungen haben den größten Einfluss auf die Leistung des Agenten: Modell und Temperatur.

Die Modellauswahl wirkt sich auf die Funktionalität, Latenz, Kosten und spezielle Stärken aus. Verschiedene Modelle eignen sich hervorragend für Aufgaben wie Schlussfolgerung, Codierung oder Zusammenfassung.Um zu verstehen, welches Modell für die Arbeitslast Ihres Agenten geeignet ist, führen Sie Auswertungen durch, bei denen die Leistung der Modelle mit den tatsächlichen Eingaben und Szenarien verglichen wird.

Die Temperatur steuert die Zufälligkeit und Kreativität der Antworten des Modells. Zu den typischen Bereichen gehören:

• Niedrige Temperatur (0,0 - 0,3): Antworten, die deterministischer und fokussierter sind, besser für sachliche Aufgaben.
• Mittlere Temperatur (0,4 – 0,7): Ausgewogene Kreativität und Konsistenz, geeignet für die meisten Konversations-Agents.
• Hohe Temperatur (0,8 – 2,0): Kreativere und vielfältigere Antworten, besser für das kreative Schreiben.

Beginnen Sie während des Entwurfs mit einem ersten Modell.

Wählen Sie während des Entwurfs ein Modell aus, das der Arbeitslast Ihres Agents entspricht. Dieses Anfangsmodell dient als Grundlage, die Sie zum Erstellen von Prompts, zur Integration von Tools und zum Testen verwenden. Als bewährte Methode empfehlen wir Ihnen, mit einem Universalmodell oder einem kostengünstigeren Modell zu beginnen und diese Entscheidung nach den Auswertungen zu überprüfen.

Die vollständige Liste der in der UiPath Automation Cloud unterstützten Modelle und ihre regionale Verfügbarkeit finden Sie unter Modellverfügbarkeit und Routing.

Hinweis:

Die Modellverfügbarkeit hängt von Ihrem Organization Typ ab.Enterprise- und Enterprise-Testversion-Organisationen können aus mehreren unterstützten Modellen auswählen und Bring-Your-Own-Modell-Integrationen konfigurieren.Community-Organisationen haben Zugriff auf ein einziges Modell, das Free angeboten wird.

Temperatur konservativ einstellen

Die Temperatur steuert, wie deterministisch oder wie variabel die Antworten eines Modells sind.In den meisten Enterprise Agents ist Konsistenz wichtiger als Kreativität.

• Niedrige Temperaturen erzeugen wiederholbare, stabile Ausgaben
• Höhere Temperatur erhöht die Variation und Kreativität

Tipp:

Bewährte Methode: Verwenden Sie eine Temperatur von 0,0 für die meisten produktionsorientierten Agents.Wenn Qualitätsprobleme auftreten, ändern Sie das Modell oder die Eingabeaufforderung, bevor Sie die Temperatur erhöhen.

Die Temperatur sollte sparsam angepasst und immer durch Auswertungen validiert werden.

Verwenden Sie Evaluierungen, um die Modellauswahl zu validieren und zu überprüfen.

Evaluierungen sind der Ort, an dem die Modellauswahl evidenzbasiert wird.

Beginnen Sie zunächst mit einem funktionierenden Agenten.Führen Sie es im Debug-Modus mit unterschiedlichen Eingaben in Ihren Hauptszenarien aus, um zu bestätigen, dass sich der vollständige Ablauf wie erwartet verhält. Sobald der Agent End-to-End funktioniert, erstellen Sie Ihren Auswertungssatz aus echten Ausführungen, indem Sie entweder die Funktion Zum Auswertungssatz hinzufügen direkt aus einer Debug-Ausführung verwenden oder indem Sie Runtime-Ausführungen herunterladen und in Ihren Auswertungssatz importieren.

Erstellen Sie Auswertungssätze mit:

• Typische Benutzereingaben
• Randfälle
• Bekannte Fehlerfälle

Verlassen Sie sich nicht nur auf synthetische oder automatisch generierte Fälle, die die Leistung in der Praxis überschätzen können.

Verschiedene Modelle konfigurieren

Führen Sie denselben Auswertungssatz über mehrere Modelle und Konfigurationen hinweg aus. In dieser Phase können Sie entscheiden, ob Qualitätsunterschiede Unterschiede bei Kosten, Latenz oder Stabilität rechtfertigen. Wenn Sie dieselben Szenarien konfigurationsübergreifend ausführen, werden diese Kompromisse sichtbar. Es ist üblich und wird erwartet, dass das ausgewählte Modell nach der Überprüfung der Auswertungsergebnisse geändert wird.

So konfigurieren und vergleichen Sie verschiedene Modelleinstellungen innerhalb eines Auswertungssatzes:

1. Wählen Sie im Agent Builder-Explorer-Bereich die Option Auswertungssätze aus.

2. Wählen Sie einen Auswertungssatz aus.

3. Wählen Sie das Zahnradsymbol aus, um die Auswertungseinstellungen zu öffnen.

4. Fügen Sie im Eigenschaftenbereich mehrere Temperatur- und Modellkombinationen hinzu.Zum Beispiel:

   • Temperatur 0,2, Modell A
   • Temperatur 0,5, Modell A
   • Temperatur 0,7, Modell A
   • Temperatur 0,5, Modell B

   Jede Kombination erstellt separate Auswertungsausführungen, sodass Sie vergleichen können, wie kleine Konfigurationsänderungen das Verhalten beeinflussen.

   

   

5. Wählen Sie Auswertungssatz, um alle Konfigurationen auszuführen.Öffnen Sie nach Abschluss der Ausführungen die Ergebnis-Registerkarte, um sie zu vergleichen.

   

Vergleichen Sie Modelle und analysieren Sie die Ergebnisse.

Um Vergleiche fair zu gestalten:

• Halten Sie Aufforderungen, Tools und Kontext identisch.
• Fügen Sie im Eigenschaftenbereich Evaluierungssatz mehrere Modelle und Temperaturkonfigurationen hinzu.
• Führen Sie denselben Auswertungssatz für jede Konfiguration aus.

Jedes Modell, das Ihrem Auswertungssatz hinzugefügt wird, löst eine neue Ausführung aus, und Sie können die Ergebnisse für jede Ausführung in der Tabelle „Ergebnisse“ überprüfen.Bei der Überprüfung der Ergebnisse suchen Sie nicht nur nach der höchsten Punktzahl, sondern entscheiden, welche Kompromisse für Ihren Agent am wichtigsten sind.

Überprüfen Sie die Bewertungsergebnisse, um zu verstehen, wie die einzelnen Konfigurationen funktionieren. Suchen Sie nach:

• Bewertungspunkte: Identifizieren Sie, welche Einstellungen genaue, qualitativ hochwertige Ausgaben liefern.
• Zeitleistung: Vergleichen Sie Reaktionszeiten über Konfigurationen hinweg.

Wählen Sie kein Modell aus, das nur auf einer durchschnittlichen Punktzahl basiert. Berücksichtigen Sie bei der Überprüfung der Bewertungsergebnisse:

• Wo und wie Fehler auftreten
• Konsistenz über Szenarien hinweg
• Latenz und Ausführungszeit
• Kosten im Verhältnis zu Qualitätsgewinnen

Ein Modell mit einer etwas niedrigeren Punktzahl kann vorzuziehen sein, wenn es deutlich kostengünstiger und stabiler ist.

Empfohlener Workflow

Die folgenden Schritte fassen den in diesem Abschnitt beschriebenen Prozess zusammen.Verwenden Sie sie als schnelle Referenz bei der Auswahl und Optimierung eines Modells für Ihren Agent:

1. Beginnen Sie während des Agent-Entwurfs mit einem ersten Modell.
2. Verwenden Sie eine niedrige Temperatur, um Konsistenz zu priorisieren.
3. Erstellen Sie einen funktionierenden Agenten und validieren Sie das End-to-End-Verhalten.
4. Erstellen Sie Auswertungssätze aus echten Agenten-Ausführungen.
5. Vergleichen Sie mehrere Modelle mithilfe desselben Auswertungssatzes.
6. Wählen Sie das kostengünstigste Modell aus, das Ihre Qualitätsanforderungen konsistent erfüllt.
7. Führen Sie Auswertungen erneut aus, wenn sich der Agent weiterentwickelt oder neue Modelle verfügbar werden.