Générer un objet Complétion de texte

Description

À partir d'une invite et d'autres entrées telles que l'ID du modèle, etc., génère une réponse de saisie semi-automatique.

Compatibilité du projet

Windows | Multiplate-forme

Configuration

• ID de connexion ( Connection ID) - La connexion établie dans Integration Service. Accédez au menu déroulant pour choisir, ajouter ou gérer des connexions.

• Modèle : le modèle LLM (Large Language Model) à utiliser pour les complétions de texte.
  Remarque : cette activité permet aux utilisateurs de sélectionner n'importe quel modèle GPT-3 déployé dans votre instance Azure. Si un modèle n'apparaît pas dans la liste déroulante, veuillez contacter votre administrateur Azure et vous assurer que le modèle a été déployé en production.
• Invite ( Prompt ) : l'invite que vous souhaitez utiliser pour la génération de la complétion de texte. Ce champ prend en charge le type d'entrée String .

Gérer les propriétés

Utilisez l’assistant Gérer les propriétés ( Manage Properties ) pour configurer ou utiliser l’un des champs standard ou personnalisés de l’objet. Vous pouvez sélectionner des champs et les ajouter à la zone de dessin de l’activité. Les champs standard ou personnalisés ajoutés sont disponibles dans le panneau Propriétés (Properties) (dans Studio Desktop) ou sous Afficher les propriétés supplémentaires ( Show additional properties ) (dans Studio Web).

Propriétés supplémentaires

• Version de l'API ( API version ) : la version de l'API à utiliser pour cette opération. il suit le format JJ-MM-AAAA. Ce champ prend en charge le type d'entrée String .
• Jetons max ( Max Tokens ) : le nombre maximal de jetons à générer dans la complétion. Le nombre de jetons de votre invite plus max_tokens ne peut pas dépasser la longueur du contexte du modèle. La plupart des modèles ont une longueur de contexte de 2048 jetons (à l'exception des modèles les plus récents, qui prennent en charge 4096). En savoir plus sur les jetons.
• N - Le nombre de choix d'achèvement que vous souhaitez que l'IA renvoie. La valeur minimale de ce champ est de 1. La valeur par défaut est de 1.
• Température (Temperature) - Valeur de la fenêtre d'échantillon à utiliser. Des valeurs plus élevées signifie que le modèle prend plus de risques. Essayez 0.9 pour plus de réponses ou de complétions créatives, et 0 (également appelé échantillon argmax) pour celles dont la réponse est bien définie ou plus exacte. Il est recommandé de modifier, à partir de la valeur par défaut, cette valeur ou la valeur de l'échantillon Nucleus, mais pas les deux. La valeur par défaut est de 1.
• Premier P : un nombre entre 0 et 1. Plus le nombre est bas, plus le nombre de jetons pris en compte est faible. La valeur par défaut est de 1.
• Flux : indique si la progression partielle doit être diffusée. Si cette option est définie, les jetons sont envoyés en tant qu'événements envoyés par le serveur de données uniquement dès qu'ils deviennent disponibles, le flux étant terminé par un message data:[DONE] . La valeur par défaut est « false ».
• Probabilités de journal : incluez les probabilités de journalisation par rapport aux jetons les plus probables de logprob, ainsi que les jetons choisis. Par exemple, si logprobs est égal à 5, l'API renvoie une liste des 5 jetons les plus probables. L'API renvoie toujours le logprob du jeton échantillonné, il peut donc y avoir jusqu'à logprobs+1 éléments dans la réponse. La valeur maximale de logprobs est de 5. La valeur par défaut est nulle.
• Écho : en plus de l'achèvement, si ce champ est défini sur true, renvoie l'invite. La valeur par défaut est false.
• Arrêter : jusqu'à 4 séquences au cours desquelles l'API arrête de générer d'autres jetons. Le texte renvoyé ne contient pas la séquence d'arrêt. La valeur par défaut est nulle.
• Pénalité de présence ( Presence Péalty ) - Un nombre compris entre -2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons selon qu'ils apparaissent ou non dans le texte, augmentant ainsi la probabilité pour le modèle d'aborder de nouveaux sujets. La valeur par défaut est 0.
• Pénalité de fréquence - Nombre compris entre -2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons en fonction de leur fréquence existante dans le texte, réduisant ainsi la probabilité pour le modèle de répéter textuellement la même ligne. La valeur par défaut est 0.
• Meilleur : génère des complétions best_of côté serveur et renvoie la best (celle avec la probabilité de journalisation la plus élevée par jeton). Les résultats ne peuvent pas être diffusés. Lorsqu'il est utilisé avec N, best_of contrôle le nombre de complétions de candidatures, et N spécifie le nombre à renvoyer. best_of doit être supérieur à N. La valeur par défaut est 1.

Sortie

• Top Generated Text - Chaîne de saisie semi-automatique de texte généré en haut. Si vous souhaitez ne renvoyer qu'une seule réponse (c'est-à-dire N=1, qui est la valeur par défaut), ce sera la sortie que vous souhaiterez probablement utiliser. Il s'agit d'un type de données « Texte » auquel il est facile d'attribuer une variable et à utiliser directement dans d'autres activités/entrées de texte.
• Générer un objet Complétion de texte : l'objet TextCompletion complet comprend :
  • Choix ou réponses du modèle. Vous pouvez définir le nombre total de réponses que vous souhaitez récupérer à partir du modèle à l'aide du champ N dans les options supplémentaires de l'activité, qui ont une valeur par défaut de 1. Cela renverra sous la forme d'un tableau avec le premier objet commençant à 0. Ex. : Référencement d'un objet unique dans un tableau à l'intérieur d'un contrôle For Each : Response.Choices(0).Text. En savoir plus sur l ' objet réponse de la saisie semi-automatique.