Textvervollständigung generieren

UiPath.OpenAI.IntegrationService.Activities.GenerateTextCompletion

Beschreibung

Ausgehend von einer Eingabeaufforderung und anderen Eingaben wie der Modell-ID usw. generiert diese Aktivität eine Text-Vervollständigungsantwort. Diese Funktion nutzt ältere GPT-3-Textgenerierungsmodelle wie Kurie, Ada und BAbbage. Lesen Sie mehr über die Unterschiede zwischen Modellen und Textvervollständigung.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Verbindungs-ID – Die im Integration Service hergestellte Verbindung. Greifen Sie auf das Dropdownmenü zu, um Verbindungen auszuwählen, hinzuzufügen oder zu verwalten.

• Eingabeaufforderung – Die Eingabeaufforderung, die Sie für die Generierung der Textvervollständigung verwenden möchten. Weitere Informationen zu Eingabeaufforderungen finden Sie hier.

Eigenschaften verwalten

Verwenden Sie den Assistenten Eigenschaften verwalten, um Standard- oder benutzerdefinierte Felder des Objekts zu konfigurieren oder zu verwenden. Sie können Felder auswählen, um sie der Aktivitäts-Canvas hinzuzufügen. Die hinzugefügten Standard- oder benutzerdefinierten Felder sind im Eigenschaftenbereich (in Studio Desktop) oder unter Zusätzliche Optionen anzeigen (in Studio Web) verfügbar.

Zusätzliche Optionen

• • Modellname – Das Large Language Model (LLM), das Sie für die Textvervollständigung verwenden möchten. Weitere Informationen zu den Unterschieden zwischen diesen Modellen finden Sie in der OpenAI-Dokumentation.
  • Max. Token – Die maximale Anzahl von Token, die für die Eingabeaufforderung und die generierte Antwort zulässig sind. Weniger Token sind weniger teuer. Die meisten Modelle unterstützen maximal 4096 Token, einige Modelle unterstützen jedoch nur 2048. Der Standardwert ist 1920. Lesen Sie mehr über Token.
  • N – Die Anzahl der Auswahlmöglichkeiten für den Abschluss, die die KI zurückgeben soll. Der Mindestwert dieses Felds ist 1. Der Standardwert ist 1.
  • Temperatur – Eine Zahl zwischen 0 und 2. Höhere Werte wie 0.8 sorgen für eine zufälligere Ausgabe, während niedrigere Werte wie 0.2 für eine fokussiertere und bestimmtere Ausgabe sorgen. Der Standardwert ist 1.
  • Top P – Eine Zahl zwischen 0 und 1. Je niedriger die Zahl, desto weniger Token werden berücksichtigt. Die Standardeinstellung ist 1.
  • Suffix (Suffix) - Das Suffix, das nach dem eingefügten Text steht. Die Standardeinstellung ist null.
  • Stream – Gibt an, ob der teilweise Fortschritt zurückgestreamt werden soll. Wenn festgelegt, werden Token als vom Server gesendete Nur-Daten-Ereignisse gesendet, sobald sie verfügbar werden, wobei der Stream durch eine data:[DONE] -Nachricht beendet wird. Die Standardeinstellung ist false.
  • Protokollprobleme – Schließen Sie die Protokollwahrscheinlichkeiten für die wahrscheinlichsten Token von logprobsowie die ausgewählten Token ein. Wenn logprobs beispielsweise 5 ist, gibt die API eine Liste der 5 wahrscheinlichsten Token zurück. Die API gibt immer den logprob des abgetasteten Tokens zurück, sodass die Antwort bis zu logprobs+1 Elemente enthalten kann. Der Maximalwert für logprobs ist 5. Die Standardeinstellung ist null.
  • Feedback – Zusätzlich zur Vervollständigung wird die Eingabeaufforderung als Antwort gegeben, wenn truefür dieses Feld festgelegt ist. Der Standardwert ist false.
  • Anhalten – Bis zu 4 Sequences, bei denen die API die Generierung weiterer Token beendet. Der zurückgegebene Text enthält die Stopp-Sequence nicht. Die Standardeinstellung ist null.
  • Anwesenheitsstrafe (Penalty ) - Eine Zahl zwischen -2,0 und 2,0. Positive Werte bestrafen neue Token basierend darauf, ob sie bereits im Text erscheinen, wodurch die Wahrscheinlichkeit steigt, dass das Modell über neue Themen spricht. Die Standardeinstellung ist 0.
  • Häufigkeitsabzug – Zahl zwischen -2,0 und 2,0. Positive Werte benachteiligen neue Token basierend auf ihrer bisherigen Häufigkeit im Text und verringern die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wörtlich wiederholt. Die Standardeinstellung ist 0.
  • Best Of – Generiert serverseitig best_of -Vervollständigungen und gibt best zurück (die mit der höchsten Protokollierungswahrscheinlichkeit pro Token). Ergebnisse können nicht gestreamt werden. Bei Verwendung mit N steuert best_of die Anzahl der Kandidatenvervollständigungen und N gibt an, wie viele zurückgegeben werden sollen – best_of muss größer als N sein. Standardwert ist 1.

    • Da dieser Parameter viele Vervollständigungen generiert, kann er Ihr Tokenkontingent schnell verbrauchen. Verwenden Sie sie mit Vorsicht und stellen Sie sicher, dass Sie angemessene Einstellungen für Max. Token und Stopp haben.

  • Benutzer – Ein eindeutiger Bezeichner, der Ihren Endbenutzer darstellt, der OpenAI bei der Überwachung und Erkennung von Missbrauch helfen kann. Die Standardeinstellung ist null.

Ausgabe

• Am häufigsten generierter Text – Die am häufigsten generierte Text-Vervollständigungszeichenfolge. Wenn Sie nur eine einzelne Antwort zurückgeben möchten (d. h. N=1, was der Standardeinstellung entspricht), ist dies die Ausgabe, die Sie wahrscheinlich verwenden möchten. Es handelt sich um einen Text -Datentyp, dem einfach eine Variable zugewiesen und direkt in anderen Aktivitäten/Texteingaben verwendet werden kann.
• Textvervollständigung generieren – Automatisch generierte Ausgabevariable. Das vollständige GenerateTextCompletion -Objekt, das Folgendes enthält:
  • Auswahlmöglichkeiten – oder Antworten aus dem Modell. Sie können die Gesamtanzahl der Antworten, die das Modell zurückgeben soll, festlegen, indem Sie das Feld „N“ in den zusätzlichen Optionen der Aktivität verwenden, die standardmäßig auf 1 gesetzt ist. Dies wird als Array zurückgegeben, wobei das erste Objekt bei 0 beginnt. Bsp. Verweisen auf ein einzelnes Objekt in einem Array innerhalb eines Steuerelements „For Each“: Response.Choices(0).Text. Weitere Informationen zu anderen Teilen des Textvervollständigungs-Antwortobjekts finden Sie in der Dokumentation Vervollständigung erstellen .