Textvervollständigung generieren

Beschreibung

Bei einer Eingabeaufforderung und anderen Eingaben wie der Modell-ID usw. wird eine Textvervollständigungsantwort generiert.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Verbindungs-ID – Die im Integration Service hergestellte Verbindung. Greifen Sie auf das Dropdownmenü zu, um Verbindungen auszuwählen, hinzuzufügen oder zu verwalten.

• Modell – Das Large Language Model (LLM), das für die Textvervollständigungen verwendet werden soll.
  Hinweis: Diese Aktivität ermöglicht Benutzern die Auswahl eines beliebigen GPT-3-Modells, das in Ihrer Azure-Instanz bereitgestellt wurde. Wenn Sie ein Modell nicht in der Dropdownliste sehen, wenden Sie sich an Ihren Azure-Administrator und stellen Sie sicher, dass das Modell für die Produktion bereitgestellt wurde.
• Eingabeaufforderung – Die Eingabeaufforderung, die Sie für die Generierung der Textvervollständigung verwenden möchten. Dieses Feld unterstützt die Eingabe vom Typ String .

Eigenschaften verwalten

Verwenden Sie den Assistenten Eigenschaften verwalten , um Standard- oder benutzerdefinierte Felder des Objekts zu konfigurieren oder zu verwenden. Sie können Felder auswählen, um sie der Aktivitäts-Canvas hinzuzufügen. Die hinzugefügten Standard- oder benutzerdefinierten Felder sind im Eigenschaftenbereich (in Studio Desktop) oder unter Zusätzliche Eigenschaften anzeigen (in Studio Web) verfügbar.

Zusätzliche Eigenschaften

• API-Version - Die API-Version, die für diesen Vorgang verwendet werden soll. dies folgt dem Format JJJJ-MM-TT. Dieses Feld unterstützt die Eingabe vom Typ String .
• Max. Token – Die maximale Anzahl von Token, die in der Vervollständigung generiert werden sollen. Die Tokenanzahl Ihrer Eingabeaufforderung plus max_tokens darf die Kontextlänge des Modells nicht überschreiten. Die meisten Modelle haben eine Kontextlänge von 2048 Token (mit Ausnahme der neuesten Modelle, die 4096 unterstützen). Lesen Sie weitere Informationen zu Tokens.
• N – Die Anzahl der Vervollständigungsauswahlen, die die KI zurückgeben soll. Der Mindestwert dieses Felds ist 1. Der Standardwert ist 1.
• Temperatur – Der Wert der zu verwendenden Stichprobe Höhere Werte bedeutet, dass das Modell mehr Risiken eingeht. Versuchen Sie es mit 0.9 für kreativere Antworten oder Vervollständigungen und 0 (auch als Argumentmaximum bezeichnet) für Antworten mit einer genau definierten oder genaueren Antwort. Im Allgemeinen wird empfohlen, ab dem Standardwert diesen oder den Nucleus-Beispielwert zu ändern, aber nicht beide Werte. Der Standardwert ist 1.
• Oberste P – Eine Zahl zwischen 0 und 1. Je niedriger die Zahl, desto weniger Token werden berücksichtigt. Der Standardwert ist 1.
• Stream – Gibt an, ob der teilweise Fortschritt zurückgestreamt werden soll. Wenn diese Option festgelegt ist, werden die Token als reine Server-Ereignisse gesendet, sobald sie verfügbar sind, und der Stream wird durch eine data:[DONE] -Nachricht beendet. Der Standardwert ist „false“.
• Protokoll-Proben – Schließen Sie die Protokoll-Wahrscheinlichkeiten für die wahrscheinlichsten Tokens von logprob sowie die ausgewählten Token ein. Wenn z. B. logprobs gleich 5 ist, gibt die API eine Liste der fünf wahrscheinlichsten Token zurück. Die API gibt immer das logprob des abgetasteten Tokens zurück, sodass die Antwort bis zu logprobs+1 Elemente enthalten kann. Der Höchstwert für logprobs ist 5. Der Standardwert ist NULL.
• Feedback – Zusätzlich zur Vervollständigung wird die Eingabeaufforderung als Antwort gegeben, wenn truefür dieses Feld festgelegt ist. Der Standardwert ist false.
• Anhalten ( Stop ) - Bis zu 4 Sequences, bei denen die API aufhört, weitere Token zu generieren. Der zurückgegebene Text enthält die Stopp-Sequence nicht. Der Standardwert ist NULL.
• Ahndung für Vorkommen ( Presence Ahndung ) - Eine Zahl zwischen -2,0 und 2,0. Bei positiven Werten werden neue Token auf der Grundlage geahndet, ob sie bisher im Text vorkommen, und die Wahrscheinlichkeit wird erhöht, dass das Modell über neue Themen spricht. Der Standardwert ist 0.
• Ahndung für Häufigkeit – Zahl zwischen -2,0 und 2,0. Bei positiven Werten werden neue Token auf der Grundlage ihrer bisherigen Häufigkeit im Text geahndet und die Wahrscheinlichkeit wird verringert, dass das Modell dieselbe Zeile wortwörtlich wiederholt. Der Standardwert ist 0.
• Best of – Generiert best_of -Vervollständigungen auf der Serverseite und gibt die best zurück (die mit der höchsten Protokollierungswahrscheinlichkeit pro Token). Ergebnisse können nicht gestreamt werden. Bei Verwendung mit N steuert best_of die Anzahl der Kandidatenvervollständigungen und N gibt an, wie viele zurückgegeben werden sollen – best_of muss größer als N sein. Der Standardwert ist 1.

Ausgabe

• Oberster generierter Text – Die oberste generierte Textvervollständigungszeichenfolge. Wenn Sie nur eine einzelne Antwort zurückgeben möchten (d. h. N=1, was der Standard ist), wird dies die Ausgabe sein, die Sie wahrscheinlich verwenden möchten. Es handelt sich um den Datentyp „Text“, der einfach einer Variablen zugewiesen und direkt in anderen Aktivitäten/Texteingaben verwendet werden kann.
• Textvervollständigung generieren – Das vollständige TextCompletion -Objekt, das Folgendes enthält:
  • Auswahlmöglichkeiten oder Antworten aus dem Modell. Sie können die Gesamtanzahl der Antworten, die das Modell zurückgeben soll, mithilfe des Felds „N“ in den zusätzlichen Optionen der Aktivität festlegen, die standardmäßig auf 1 gesetzt ist. Dies wird als Array zurückgegeben, wobei das erste Objekt bei 0 beginnt. Bsp. Verweisen auf ein einzelnes Objekt in einem Array innerhalb eines Für jede-Steuerelements: Response.Choices(0).Text. Lesen Sie mehr über das Textvervollständigungsantwortobjekt.