Chatvervollständigung generieren

UiPath.MicrosoftAzureOpenAI.IntegrationService.Activities.GenerateChatCompletion

Beschreibung

Ausgehend von einer Benutzeraufforderung, einer optionalen Anweisung und anderen optionalen Eingaben, wie z. B. der Modell-ID usw., wird eine Antwort zum Abschluss des Chats erzeugt. Diese Funktion imitiert die beliebten ChatGPT-Funktionen. Diese Aktivität ermöglicht Benutzern die Interaktion mit GPT-3.5- und GPT-4-Modellen und die Simulation eines Dialogs mit dem Modell über Kontext und Benutzerrollen.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Verbindung – Die im Integration Service hergestellte Verbindung. Greifen Sie auf die Dropdownliste zu, um Verbindungen auszuwählen, hinzuzufügen oder zu verwalten. Dieses Feld unterstützt nur Strings oder String -Variablen.
• Eingabeaufforderung – Die Eingabeaufforderung, die Sie für die Generierung der Chatvervollständigung verwenden möchten. Weitere Informationen zu Eingabeaufforderungen finden Sie hier.

Erweitert (Advanced)

Optionen

• Anweisung – Anweisungen, wie die KI die Chat-Vervollständigungsantwort generieren soll. Dies ist das Äquivalent der „Systemrolle“, die in den OpenAI-Dokumenten beschrieben wird. Die Rolle „Assistant“ ist in dieser Aktivität derzeit nicht verfügbar. Weitere Informationen finden Sie auf dieser Seite.
• Modellname – Das Large Language Model (LLM), das für die Chatvervollständigung verwendet werden soll. Sie können zwischen gpt-35-turbo und gpt-4 wählen. Weitere Informationen zu den Unterschieden zwischen diesen Modellen finden Sie hier. Standardmäßig ist gpt-4 ausgewählt.
  Hinweis: Diese Aktivität ermöglicht Benutzern die Auswahl eines beliebigen GPT-3.5- oder GPT-4-Modells, das in Ihrer Azure-Instanz bereitgestellt wurde. Wenn Sie ein Modell nicht in der Dropdownliste sehen, wenden Sie sich an Ihren Azure-Administrator und stellen Sie sicher, dass das Modell für die Produktion bereitgestellt wurde.
• Max. Token – Die maximale Anzahl von Token, die für die Eingabeaufforderung und die generierte Antwort zulässig sind. Weniger Token sind weniger teuer. Die meisten Modelle unterstützen maximal 4096 Token, einige Modelle unterstützen jedoch nur 2048. Der Standardwert ist 1920. Weitere Informationen zu Token finden Sie hier.
• N – Die Anzahl der Auswahlmöglichkeiten für den Abschluss, die die KI zurückgeben soll. Der Mindestwert dieses Felds ist 1. Der Standardwert ist 1.
• Temperatur – Eine Zahl zwischen 0 und 2. Höhere Werte wie 0.8 sorgen für eine zufälligere Ausgabe, während niedrigere Werte wie 0.2 für eine fokussiertere und bestimmtere Ausgabe sorgen. Der Standardwert ist 1.
• Top P – Eine Zahl zwischen 0 und 1. Je niedriger die Zahl, desto weniger Token werden berücksichtigt. Die Standardeinstellung ist 1.
• Stream – Gibt an, ob der teilweise Fortschritt zurückgestreamt werden soll. Wenn festgelegt, werden Token als vom Server gesendete Nur-Daten-Ereignisse gesendet, sobald sie verfügbar werden, wobei der Stream durch eine data:[DONE] -Nachricht beendet wird. Die Standardeinstellung ist false.
• Anwesenheitsstrafe (Penalty ) - Eine Zahl zwischen -2,0 und 2,0. Positive Werte bestrafen neue Token basierend darauf, ob sie bereits im Text erscheinen, wodurch die Wahrscheinlichkeit steigt, dass das Modell über neue Themen spricht. Die Standardeinstellung ist 0.
• Häufigkeitsabzug – Zahl zwischen -2,0 und 2,0. Positive Werte benachteiligen neue Token basierend auf ihrer bisherigen Häufigkeit im Text und verringern die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wörtlich wiederholt. Die Standardeinstellung ist 0.

Ausgabe

• Antwort – Das vollständige GenerateChatCompletion -Objekt, das Folgendes enthält:
  • Auswahlmöglichkeiten – oder Antworten aus dem Modell. Sie können die Gesamtzahl der Antworten, die Sie vom Modell zurückgeben möchten, mithilfe des Felds „N“ in den zusätzlichen Optionen der Aktivität festlegen, die standardmäßig auf 1 eingestellt ist. Dies wird als Array zurückgegeben, wobei das erste Objekt bei 0 beginnt. Beispiel: Verweisen auf ein einzelnes Objekt in einem Array innerhalb eines For Each-Steuerelements: Response.Choices(0).Text

    Informationen zu anderen Teilen des Chatvervollständigungs-Antwortobjekts finden Sie auf dieser Seite.

• Oberster generierter Text – Der am häufigsten generierte Chat-Vervollständigungs-String. Wenn Sie nur eine einzelne Antwort zurückgeben möchten (d. h. N=1, was der Standard ist), wird dies die Ausgabe sein, die Sie wahrscheinlich verwenden möchten. Es handelt sich um den Datentyp „Text“, der einfach einer Variablen zugewiesen und direkt in anderen Aktivitäten/Texteingaben verwendet werden kann.