Textvervollständigung generieren

UiPath.MicrosoftAzureOpenAI.IntegrationService.Activities.GenerateTextCompletion

Beschreibung

Bei einer Eingabeaufforderung und anderen Eingaben wie der Modell-ID usw. wird eine Textvervollständigungsantwort generiert

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• ConnectionId - Die im Integration Service hergestellte Verbindung. Greifen Sie auf das Dropdown-Menü zu, um Verbindungen auszuwählen, hinzuzufügen oder zu verwalten. Dieses Feld unterstützt nur Zeichenfolgen oder String -Variablen.
• Eingabeaufforderung – Die Eingabeaufforderung, die Sie für die Generierung der Textvervollständigung verwenden möchten.

Erweitert (Advanced)

Optionen

• Modell – Der Modellname oder die ID, die für die Generierung der Textvervollständigung verwendet wird.
  Hinweis: Diese Aktivität ermöglicht Benutzern die Auswahl eines beliebigen GPT-3-Modells, das in Ihrer Azure-Instanz bereitgestellt wurde. Wenn Sie ein Modell nicht in der Dropdownliste sehen, wenden Sie sich an Ihren Azure-Administrator und stellen Sie sicher, dass das Modell für die Produktion bereitgestellt wurde.
• Max. Token – Die maximale Anzahl von Token, die in der Vervollständigung generiert werden sollen. Die Tokenanzahl Ihrer Eingabeaufforderung plus max_tokens darf die Kontextlänge des Modells nicht überschreiten. Die meisten Modelle haben eine Kontextlänge von 2048 Token (mit Ausnahme der neuesten Modelle, die 4096 unterstützen). Weitere Informationen zu Token finden Sie hier.
• N – Die Anzahl der Auswahlmöglichkeiten für den Abschluss, die die KI zurückgeben soll. Der Mindestwert dieses Felds ist 1. Der Standardwert ist 1.
• Temperatur - Der zu verwendende Wert der Sampling- Temperatur. Höhere Werte bedeuten, dass das Modell mehr Risiken eingeht. Versuchen Sie es mit 0.9 für kreativere Antworten oder Vervollständigungen und 0 (auch Argmax-Sampling genannt) für Antworten mit einer klar definierten oder genaueren Antwort. Es wird allgemein empfohlen, diesen oder den Nukleus-Beispielwert vom Standardwert zu ändern, aber nicht beide Werte. Die Standardeinstellung ist 1 .
• Top P – Eine Zahl zwischen 0 und 1. Je niedriger die Zahl, desto weniger Token werden berücksichtigt. Die Standardeinstellung ist 1.
• Stream – Gibt an, ob der teilweise Fortschritt zurückgestreamt werden soll. Wenn festgelegt, werden Token als vom Server gesendete Nur-Daten-Ereignisse gesendet, sobald sie verfügbar werden, wobei der Stream durch eine data:[DONE] -Nachricht beendet wird. Die Standardeinstellung ist false.
• Protokollprobleme – Schließen Sie die Protokollwahrscheinlichkeiten für die wahrscheinlichsten Token von logprobsowie die ausgewählten Token ein. Wenn logprobs beispielsweise 5 ist, gibt die API eine Liste der 5 wahrscheinlichsten Token zurück. Die API gibt immer den logprob des abgetasteten Tokens zurück, sodass die Antwort bis zu logprobs+1 Elemente enthalten kann. Der Maximalwert für logprobs ist 5. Die Standardeinstellung ist null.
• Feedback – Zusätzlich zur Vervollständigung wird die Eingabeaufforderung als Antwort gegeben, wenn truefür dieses Feld festgelegt ist. Der Standardwert ist false.
• Anhalten – Bis zu 4 Sequences, bei denen die API die Generierung weiterer Token beendet. Der zurückgegebene Text enthält die Stopp-Sequence nicht. Die Standardeinstellung ist null.
• Anwesenheitsstrafe (Penalty ) - Eine Zahl zwischen -2,0 und 2,0. Positive Werte bestrafen neue Token basierend darauf, ob sie bereits im Text erscheinen, wodurch die Wahrscheinlichkeit steigt, dass das Modell über neue Themen spricht. Die Standardeinstellung ist 0.
• Häufigkeitsabzug – Zahl zwischen -2,0 und 2,0. Positive Werte benachteiligen neue Token basierend auf ihrer bisherigen Häufigkeit im Text und verringern die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wörtlich wiederholt. Die Standardeinstellung ist 0.
• Best Of – Generiert serverseitig best_of -Vervollständigungen und gibt best zurück (die mit der höchsten Protokollierungswahrscheinlichkeit pro Token). Ergebnisse können nicht gestreamt werden. Bei Verwendung mit N steuert best_of die Anzahl der Kandidatenvervollständigungen und N gibt an, wie viele zurückgegeben werden sollen – best_of muss größer als N sein. Standardwert ist 1.

Ausgabe

• Antwort – Das vollständige GenerateTextCompletion -Objekt, das Folgendes enthält:
  • Auswahlmöglichkeiten – oder Antworten aus dem Modell. Sie können die Gesamtzahl der Antworten, die Sie vom Modell zurückgeben möchten, mithilfe des Felds „N“ in den zusätzlichen Optionen der Aktivität festlegen, die standardmäßig auf 1 eingestellt ist. Dies wird als Array zurückgegeben, wobei das erste Objekt bei 0 beginnt. Beispiel: Verweisen auf ein einzelnes Objekt in einem Array innerhalb eines 'For Each'-Steuerelements: Response.Choices(0).Text.

    Informationen zu anderen Teilen des Textvervollständigungs-Antwortobjekts finden Sie auf dieser Seite.

• Oberster generierter Text – Die oberste generierte Textvervollständigungszeichenfolge. Wenn Sie nur eine einzelne Antwort zurückgeben möchten (d. h. N=1, was der Standard ist), wird dies die Ausgabe sein, die Sie wahrscheinlich verwenden möchten. Es handelt sich um den Datentyp „Text“, der einfach einer Variablen zugewiesen und direkt in anderen Aktivitäten/Texteingaben verwendet werden kann.