Content Generation

Beschreibung

Generieren Sie mithilfe von Chat-Vervollständigungsmodellen eine Chat-Antwort für die bereitgestellte Anforderung.

Projektkompatibilität

Windows | Plattformübergreifend

Konfiguration

• Verbindungs-ID – Die im Integration Service hergestellte Verbindung. Greifen Sie auf das Dropdownmenü zu, um Verbindungen auszuwählen, hinzuzufügen oder zu verwalten.

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• Eingabeaufforderung – Die Benutzeraufforderung für die Chatvervollständigungsanforderung. Dieses Feld unterstützt die Eingabe vom Typ String .
  Hinweis: Um ein Bild an eine benutzerdefinierte Aufforderung anzuhängen, verwenden Sie die Aktivität Image Analysis .
• PII-Erkennung – Legt fest, ob PII in der Eingabeaufforderung erkannt werden soll. Boolescher Wert. Der Standardwert ist „False“.
  • PII-Filterung – Bei True werden alle erkannten PII/PHi vor dem Senden an das LLM maskiert. Die Qualität der Ausgabe kann beeinträchtigt werden. Wenn auf False festgelegt, ist das erkannte PII in der Eingabeaufforderung enthalten. In beiden Fällen ist das erkannte PII in der Ausgabe verfügbar. Dieses Feld wird angezeigt, wenn PII-Erkennung auf True festgelegt ist.
  • PII-Sprache – Die Sprache der Eingabeaufforderung und -ausgabe, die nach PII gescannt werden soll. Wählen Sie eine Sprache aus der verfügbaren Dropdownliste aus. Dieses Feld wird angezeigt, wenn PII-Erkennung auf True festgelegt ist.
  • PII/Phi-Kategorie – Die optionale PII-/Phi-Kategorie oder Kategorien, nach denen analysiert werden soll. Wenn nicht festgelegt, werden alle Kategorien überprüft. Dieses Feld wird angezeigt, wenn PII-Erkennung auf True festgelegt ist.
• Systemeingabeaufforderung – Die Systemeingabeaufforderung oder Kontextanweisung für die Chat-Vervollständigungsanforderung. Dieses Feld unterstützt die Eingabe vom Typ String .
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

Eigenschaften verwalten

Verwenden Sie den Assistenten Eigenschaften verwalten , um Standard- oder benutzerdefinierte Felder des Objekts zu konfigurieren oder zu verwenden. Sie können Felder auswählen, um sie der Aktivitäts-Canvas hinzuzufügen. Die hinzugefügten Standard- oder benutzerdefinierten Felder sind im Eigenschaftenbereich (in Studio Desktop) oder unter Zusätzliche Eigenschaften anzeigen (in Studio Web) verfügbar.

Zusätzliche Eigenschaften

• PII-Konfidenzpunktzahl – Die Mindestkonfidenzpunktzahl, die erforderlich ist, um als PII zu gelten und geschriftet zu werden. Dieses Feld wird angezeigt, wenn PII-Erkennung auf True festgelegt ist.
• Maximale Anzahl von Token – Die maximale Anzahl der Token, die in der Vervollständigung generiert werden sollen. Die Tokenanzahl der Aufforderung zuzüglich der des Ergebnisses/der Vervollständigung dürfen den für dieses Feld angegebenen Wert nicht überschreiten. Am besten ist es, diesen Wert kleiner als die maximale Anzahl des Modells zu wählen, um etwas Spielraum für die Anzahl der Aufforderungstoken zu haben. Der Standardwert ist 1024. Wenn diese Option nicht festgelegt ist, verwendet die Aktivität standardmäßig die erforderlichen Token, um der Anforderung gerecht zu werden, oder die maximal vom Modell zulässigen Token. Dieses Feld unterstützt die Eingabe vom Typ Int64 .
• Temperatur – Der Wert des Kreativitätsfaktors oder der zu verwendenden Sampling- Temperatur. Höhere Werte bedeuten, dass das Modell mehr Risiken eingeht. Versuchen Sie es mit 0,9 für kreativere Antworten oder Vervollständigungen oder 0 (auch „Argmax-Sampling“ genannt) für Antworten mit einer klar definierten oder genaueren Antwort. Es wird empfohlen, diesen oder den Nucleus-Beispielwert im Vergleich zum Standardwert zu ändern, jedoch nicht beide Werte. Der Standardwert ist 0.
• Ahndung für Häufigkeit – Zahl zwischen -2,0 und 2,0. Bei positiven Werten werden neue Token auf der Grundlage ihrer vorhandenen Häufigkeit im Text geahndet und die Wahrscheinlichkeit wird verringert, dass das Modell dieselbe Zeile wortwörtlich wiederholt. Der Standardwert ist 0.
• Ahndung für Vorkommen – Zahl zwischen -2,0 und 2,0. Bei positiven Werten werden neue Token auf der Grundlage geahndet, ob sie bisher im Text vorkommen, und die Wahrscheinlichkeit wird erhöht, dass das Modell über neue Themen spricht. Der Standardwert ist 0.
• Anzahl der Vervollständigungsauswahlen – Die Anzahl der Vervollständigungsauswahlen, die für die Anforderung generiert werden sollen. Je höher der Wert dieses Felds ist, desto mehr Token werden verwendet. Dies führt zu höheren Kosten. Dies müssen Sie beim Festlegen des Werts dieses Felds berücksichtigen. Der Standardwert ist 1.
• Sequence anhalten – Bis zu vier Sequences, bei denen die API aufhört, weitere Token zu generieren. Der zurückgegebene Text enthält die Stopp-Sequence nicht. Der Standardwert ist null.

Ausgabe

• Am häufigsten generierter Text – Der generierte Text.
• Maskierter Test – Der Eingabe-Prompt, in dem alle potenziellen PII-Daten durch maskierte Platzhalter ersetzt wurden.
• Inhaltsgenerierung – Diese Ausgabe enthält das vollständige verschachtelte Antwortobjekt einschließlich zusätzlicher Details über Vervollständigung, verwendetes Modell und PII-Erkennungsergebnisse.
• Citations string - The Context grounding citations string.

Wie die Inhaltsgenerierung verwendet wird

Die Aktivität Content Generation bietet Flexibilität bei der Interaktion mit und das Einfügen von LLM-generierten Antworten in benutzerdefinierte Prompts in Studio, Studio Web oder Apps. Durch das Einfügen von Argumenten und Variablen in die Eingabeaufforderung können Sie eine dynamische Eingabeaufforderungsvorlage erstellen, die Daten aus gängigen Geschäftsanwendungen über Connectors, Orchestrator-Warteschlangenelemente usw. abruft. Auf diese Weise können Sie aussagekräftige, skalierbare Automatisierungen erstellen, die für individuelle Anwendungsfälle geeignet sind.

Wichtig: Sie können das Modell auswählen, das für die Inhaltsgenerierung verwendet werden soll, die Eingabeaufforderung erstellen, PII/PHI-Daten identifizieren und ausblenden und mit erweiterten Modelloptionen arbeiten, die mehr oder weniger deterministische Ausgaben bieten. Wichtig ist, dass LLMs nicht deterministisch sind . Sie müssen Eingabeaufforderungen durchlaufen und Ausgaben durch Protokollierung, externe Validierungsaufgaben (Action Center) und Tests überwachen. Die Inhaltsgenerierung ist hochgradig konfigurierbar, erfordert jedoch Tests und Überwachung, bevor sie in der Produktion eingesetzt wird.

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• Dateiressource: Verwenden Sie eine Datei, die Just-in-Time in die Aktivität hochgeladen wurde, und die Kontexterschließung ermöglicht es einer Just-in-Time- oder In-Memory-RAG, dieses bestimmte Dokument abzufragen. Sie können hier nur ein Dokument hochladen, gut für zusammenfassungsbasierte Anwendungsfälle.

Der Parameter Anzahl der Ergebnisse stellt die Anzahl der Top-Ergebnisse dar, die durch Kontexterstellung auf der Grundlage einer semantischen Ähnlichkeitsbewertung gesucht und abgerufen werden. Diese Ergebnisse stellen Teile der Daten (Seiten) dar, die dann an das Kontextfenster der Aufforderung als Nachweis übergeben werden, um die Aufforderung und die zugehörige Generierung zu erden. Sie können diese Anzahl bis zur Grenze des Modellkontextfensters erhöhen. Dies kann notwendig sein, wenn die Ausgabe nicht die erwarteten Ergebnisse/Qualitätsergebnisse liefert.

To learn more about using Context grounding, refer to About Context grounding.