Content Generation

Description

Générez une réponse de chat pour la requête saisie à l'aide de modèles de complétion de chat.

Compatibilité du projet

Windows | Multiplate-forme

Configuration

• ID de connexion ( Connection ID) - La connexion établie dans Integration Service. Accédez au menu déroulant pour choisir, ajouter ou gérer des connexions.

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• Invite : l'invite de l'utilisateur pour la demande de complétion de chat. Ce champ prend en charge le type d'entrée String .
  Remarque : pour joindre une image à une invite personnalisée, utilisez l’activité Analyse des images ( Image Analysis) .
• Détection des informations personnelles (PII Detection ) - Indique si les informations personnelles doivent être détectées à partir de l'invite d'entrée. Valeur booléenne. La valeur par défaut est Faux.
  • Filtrage PII - Si défini sur True, tout PII/PHI détecté est masqué avant d'être envoyé au LLM. La qualité de la sortie peut être altérée. Si défini sur Faux (False), les informations personnelles détectées sont incluses dans l'invite. Dans les deux cas, les IIP détectés sont disponibles dans la sortie. Ce champ s'affiche si la détection des informations d’identification est définie sur Vrai (True).
  • Langue des informations personnelles ( PII language ) : la langue de l'entrée et de la sortie de l'invite pour rechercher les informations personnelles. Sélectionnez une langue dans la liste déroulante disponible. Ce champ s'affiche si la détection des informations d’identification est définie sur Vrai (True).
  • Catégorie PII/PHI : la ou les catégories facultatives en PII/PHI à analyser. Si elle n’est pas définie, toutes les catégories seront révisées. Ce champ s'affiche si la détection des informations d’identification est définie sur Vrai (True).
• Invite du système - L'invite du système ou l'instruction contextuelle pour la demande de complétion de chat. Ce champ prend en charge le type d'entrée String .
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

Gérer les propriétés

Utilisez l’assistant Gérer les propriétés ( Manage Properties ) pour configurer ou utiliser l’un des champs standard ou personnalisés de l’objet. Vous pouvez sélectionner des champs et les ajouter à la zone de dessin de l’activité. Les champs standard ou personnalisés ajoutés sont disponibles dans le panneau Propriétés (Properties) (dans Studio Desktop) ou sous Afficher les propriétés supplémentaires ( Show additional properties ) (dans Studio Web).

Propriétés supplémentaires

• Score de confiance PII - Le score de confiance minimum requis pour être considéré comme PII et être caviardé. Ce champ s'affiche si la détection des informations d’identification est définie sur Vrai (True).
• Nombre maximal de jetons : le nombre maximal de jetons à générer lors de l'achèvement. La somme du nombre de jetons de votre invite et de ceux du résultat/de l’achèvement ne peut pas dépasser la valeur fournie pour ce champ. Nous recommandons de définir une valeur inférieure au nombre maximal du modèle afin de garder de la place pour le nombre de jetons d’invite. La valeur par défaut est 1 024. Si ce champ n’est pas défini, l’activité utilisera par défaut les jetons nécessaires pour répondre à la requête ou au nombre maximal de jetons autorisés par le modèle. Ce champ prend en charge une entrée de type Int64 .
• Température : la valeur du facteur de créativité ou de la température d’échantillon à utiliser. Des valeurs plus élevées signifient que le modèle prendra plus de risques. Essayez 0,9 pour des réponses ou des complétions plus créatives, ou 0 (également appelé échantillon argmax) pour ceux avec une réponse bien définie ou plus exacte. Il est recommandé de modifier, à partir de la valeur par défaut, cette valeur ou l'échantillon Nucleus, mais pas les deux. La valeur par défaut est 0.
• Pénalité de fréquence : nombre compris entre -2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons en fonction de leur fréquence existante dans le texte, réduisant ainsi la probabilité pour le modèle de répéter textuellement la même ligne. La valeur par défaut est 0.
• Pénalité de présence : nombre compris entre -2,0 et 2,0. Les valeurs positives pénalisent les nouveaux jetons selon qu'ils apparaissent ou non dans le texte, augmentant ainsi la probabilité pour le modèle d'aborder de nouveaux sujets. La valeur par défaut est 0.
• Nombre de choix de complétion ( Completion choices ) : le nombre de choix de complétion à générer pour la requête. Plus la valeur de ce champ est élevée, plus le nombre de jetons qui seront utilisés est élevé. Cela entraîne un coût plus élevé, vous devez donc en être conscient lors de la définition de la valeur de ce champ. La valeur par défaut est de 1.
• Arrêter la séquence (Stop sequence ) : jusqu'à quatre séquences au cours desquelles l'API cessera de générer d'autres jetons. Le texte renvoyé ne contient pas la séquence d'arrêt. La valeur par défaut est null.

Sortie

• Premier texte généré : le texte généré.
• Test masqué : l'invite d'entrée où toutes les potentielles informations personnelles (PII) ont été remplacées par des espaces réservés masqués.
• Génération de contenu : cette sortie contient l’objet de réponse imbriqué complet, y compris des détails supplémentaires sur l’achèvement, le modèle utilisé et les résultats de la détection des PII.
• Citations string - The Context grounding citations string.

Comment utiliser la génération de contenu

L'activité de génération de contenu offre davantage de flexibilité dans la façon dont vous interagissez et insérez des réponses générées par LLM aux invites personnalisées dans Studio, Studio Web ou Apps. En insérant des arguments et des variables dans l'invite, vous pouvez réaliser un modèle d'invite dynamique qui extrait les données des applications métier populaires via des connecteurs, des éléments de file d'attente Orchestrator, etc. Cela vous aide à créer des automatisations significatives et évolutives qui correspondent à des cas d'utilisation uniques.

Attention : vous pouvez sélectionner le modèle à utiliser pour la génération de contenu, créer l’invite, identifier et masquer les données d’IPI/PHI et travailler avec des options de modèle avancées qui offrent des sorties plus ou moins déterministe. Attention : Les LLM ne sont pas déterministe. Vous devez parcourir les invites et surveiller les sorties via la journalisation, les tâches de validation externe (Action Center) et les tests. La génération de contenu est hautement configurable, mais elle nécessite des tests et une surveillance avant d'être déployée en production.

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• Ressource de fichier: utilisez un fichier téléchargé juste à temps vers l'activité. L'ancrage dans le contexte permet à un RAG juste à temps ou en mémoire d'interroger ce document spécifique. Vous ne pouvez télécharger qu’un seul document ici, idéal pour les cas d’utilisation basés sur la synthèse.

Le paramètre Nombre de résultats (Number of Results) représente le nombre de meilleurs résultats recherchés et récupérés par l'ancrage dans le contexte basé sur un score de similarité sémantique. Ces résultats représentent des segments des données (pages) qui sont ensuite transmises dans la fenêtre contextuelle de l’invite comme preuve d’ancrage de l’invite et de la génération associée. Vous pouvez augmenter ce nombre à la limite de la fenêtre de contexte du modèle. Cela peut être nécessaire si la sortie ne produit pas de résultats attendus ou de haute qualité.

To learn more about using Context grounding, refer to About Context grounding.