Générer un objet Complétion de texte

Description

À partir d'une invite et d'autres entrées telles que l'ID du modèle, etc., génère une réponse de saisie semi-automatique.

Compatibilité du projet

Windows | Multiplate-forme

Configuration

• Connexion : la connexion établie dans Integration Service. Accédez au menu déroulant pour choisir, ajouter ou gérer des connexions.
• Modèle : le modèle LLM à utiliser pour les complétions de texte.
  Remarque :

  Cette activité permet aux utilisateurs de sélectionner n'importe quel modèle GPT-3 déployé dans votre instance Azure. Si un modèle n'apparaît pas dans la liste déroulante, veuillez contacter votre administrateur Azure et vous assurer que le modèle a été déployé en production.

• Invite : l'invite que vous souhaitez utiliser pour la génération de la saisie semi-automatique de texte. Ce champ prend en charge une entrée de type String .

Gérer les propriétés

Utilisez l'assistant Gérer les propriétés pour configurer ou utiliser l'un des champs standard ou personnalisés de l'objet. Vous pouvez sélectionner des champs et les ajouter à la zone de dessin d’activité. Les champs standard ou personnalisés ajoutés sont disponibles dans le panneau Propriétés (dans Studio Desktop) ou sous Afficher les propriétés supplémentaires (dans Studio Web).

Propriétés supplémentaires

• Version de l'API : la version de l'API à utiliser pour cette opération. cela suit le format AAAA-MM-JJ. Ce champ prend en charge une entrée de type String .
• Nombre maximum de jetons : le nombre maximal de jetons à générer lors de la complétion. La somme du nombre de jetons de votre invite et du nombre maximal de jetons ne peut pas dépasser la longueur du contexte du modèle. La plupart des modèles ont une longueur de contexte de 2 048 jetons (à l'exception des modèles les plus récents, qui prennent en charge la version 4096). En savoir plus sur les jetons.
• N : le nombre de choix de complétion que vous souhaitez que l’IA renvoie. La valeur minimale de ce champ est
  1. La valeur par défaut est 1.
• Température : la valeur de la température d’échantillonnage à utiliser. Plus les valeurs seront élevées, plus le modèle prendra de risques. Essayez 0.9 pour des réponses ou des complétions plus créatives, et 0 pour celles disposant d’une réponse bien définie ou plus exacte. Il est recommandé de modifier par rapport à la valeur par défaut soit cette valeur, soit l’échantillon Nucleus, mais pas les deux à la fois. La valeur par défaut est 1.
• Premier p : un nombre compris entre 0 et 1. Plus le nombre est bas, plus le nombre de jetons pris en compte est faible. La valeur par défaut est 1.
• Flux : spécifie si la progression partielle doit être diffusée. Si cette option est définie, les jetons sont envoyés en tant qu'événements envoyés par le serveur de données uniquement dès qu'ils sont disponibles, le flux étant terminé par un message data:[DONE] . La valeur par défaut est « false ».
• Probabilités de journalisation : incluez les probabilités de journalisation sur les jetons les plus probables du logprob, ainsi que les jetons choisis. Par exemple, si logprobs est égal à 5, l'API renvoie une liste des 5 jetons les plus probables. L'API renvoie toujours le logprob du jeton échantillonné, il peut donc y avoir jusqu'à logprobs+1 éléments dans la réponse. La valeur maximale de logprobs est 5. La valeur par défaut est nulle.
• Écho : en plus de la complétion, si ce champ est défini sur true, répète l'invite. La valeur par défaut est false.
• Arrêter : jusqu'à 4 séquences au cours desquelles l'API arrête de générer d'autres jetons. Le texte renvoyé ne contient pas la séquence d'arrêt. La valeur par défaut est nulle.
• Pénalité de présence : un nombre compris entre −2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons selon qu'ils apparaissent ou non dans le texte, augmentant ainsi la probabilité pour le modèle d'aborder de nouveaux sujets. La valeur par défaut est 0.
• Pénalité de fréquence : nombre compris entre −2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons en fonction de leur fréquence existante dans le texte, réduisant ainsi la probabilité pour le modèle de répéter textuellement la même ligne. La valeur par défaut est 0.
• Meilleur : génère best_of complétions côté serveur et renvoie la best . Les résultats ne peuvent pas être diffusées. Lorsqu'il est utilisé avec N, best_of contrôle le nombre de complétions de candidatures et N spécifie le nombre à renvoyer. best_of doit être supérieur à N. La valeur par défaut est 1.

Sortie

• Premier texte généré : la première chaîne de complétion de texte générée. Si vous souhaitez ne renvoyer qu’une seule réponse (c’est-à-dire N=1, soit la valeur par défaut), ce sera la sortie que vous utiliserez le plus probablement. Il s’agit d’un type de données « Texte » auquel vous pouvez facilement attribuer une variable et l’utiliser directement dans d’autres activités/entrées de texte.
• Générer un objet Complétion de texte : l’objet TextCompletion complet qui comprend :
  • Choix ou réponses du modèle. Vous pouvez définir le nombre total de réponses que vous souhaitez renvoyer à partir du modèle à l'aide du champ N dans les options supplémentaires de l'activité, où la valeur par défaut est 1. Elle sera renvoyée sous la forme d’un tableau avec le premier objet commençant à 0. Par exemple Référencement d'un seul objet dans un tableau à l'intérieur d'un contrôle For Each : Response.Choices(0).Text. En savoir plus sur l' objet de réponse de saisie semi-automatique