コンテンツ生成

説明

チャット完了モデルを使用して、指定された要求に対するチャット応答を生成します。

プロジェクトの対応 OS

Windows | クロスプラットフォーム

構成

• コネクション ID - Integration Service で確立されたコネクションです。ドロップダウン メニューからコネクションを選択、追加、または管理します。

• Model name - The name or ID of the model or deployment to use. This activity defaults to the model with the highest quality observed output. However, you can select a different model based on desired outputs and testing. Switching models can impact the output.
• Prompt - チャット完了要求の入力を求めるユーザーです。 このフィールドでは String 型の入力がサポートされています。
  手記： カスタム プロンプトに画像を添付するには、[ 画像分析 ] アクティビティを使用します。
• 個人を識別できる情報 (PII) を検出 - 入力プロンプトから PII を検出するかどうかを指定します。Boolean 値です。既定値は [False] です。
  • PII フィルタリング - True に設定すると、検出された PII/PHI が LLM に送信する前にマスクされます。 出力の品質が影響を受ける可能性があります。 [False] に設定すると、検出された PII がプロンプトに含まれます。 どちらの場合も、検出された PII が出力に表示されます。 このフィールドは、 PII 検出 が True に設定されている場合に表示されます。
  • PII の言語 - PII をスキャンするプロンプトの入力および出力の言語です。 表示されるドロップダウン リストから言語を選択します。 このフィールドは、 PII 検出 が True に設定されている場合に表示されます。
  • PII/PHI カテゴリ - 分析対象の任意の PII/PHI カテゴリです。 設定しない場合、すべてのカテゴリがレビューされます。 このフィールドは、 PII 検出 が True に設定されている場合に表示されます。
• システム プロンプト - チャット補完要求のためのシステム プロンプトまたは状況に応じた指示です。このフィールドでは String 型の入力がサポートされています。
• Context grounding - Ground the prompt in context to increase quality and accuracy of the output. This features allows you to insert proprietary business logic and knowledge into the prompt. You can reference an Orchestrator bucket where documents have been uploaded or upload a file directly for one time use. Select one of the available options from the dropdown menu: None, Existing index, File resource.
  • Existing index option:
    • Orchestrator folder - The Orchestrator folder containing the index to to context ground with. This must be a Shared folder. Search by name or select from the dropdown list of permissioned Orchestrator folders in that tenant. Use the Force refresh button to retrieve the latest folders.
    • Index - The name or ID of the index to ground the prompt in. Select an index from the available dropdown list.
  • File resource option:
    • File - Click to use variable. This field supports IResource type input.
      Note: This field has a 30MB file size limit. For larger files, upload data to Orchestrator and create an index using AI Trust Layer. Supported formats: PDF, JSON, CSV, DOCS, JSON, TXT.
• Number of results - Indicates the number of results to be returned. This field supports Int64 type input.

プロパティを管理

[プロパティを管理] ウィザードを使用して、オブジェクトの標準フィールドまたはカスタム フィールドを設定または使用します。フィールドを選択して、アクティビティ キャンバスに追加できます。 追加した標準フィールドまたはカスタム フィールドは、[ プロパティ] パネル (デスクトップ版の Studio) または [ その他のプロパティを表示] (Studio Web の場合) で使用できます。

その他のプロパティ

• PII の信頼度スコア - PII として認定され、編集されるために必要な最小の信頼度スコアです。 このフィールドは、 PII 検出 が True に設定されている場合に表示されます。
• 最大トークン数 - 完了時に生成するトークンの最大数です。 プロンプトのトークン数と結果/完了のトークン数は、このフィールドに指定された値を超えることはできません。 プロンプト トークン カウント用のスペースを確保するために、この値をモデルの最大数より小さく設定することをお勧めします。 デフォルト値は 1024 です。 設定されていない場合、アクティビティは既定で、要求に対応するために必要なトークン、またはモデルで許可されている最大トークン数を使用します。 このフィールドでは Int64 型の入力がサポートされています。
• 温度 - 使用する創造性因子またはサンプリング温度の値です。 値が大きいほど、モデルの出力は不確定になります。 より創造的な応答または補完を得るには 0.9 に設定し、明確に定義された、またはより正確な答えを含む補完を得るには 0 (最大確率サンプリングとも呼ばれる) に設定します。 一般的には、この値または核サンプル値をデフォルト値から変更することが推奨されており、両方の値を変更することは推奨されていません。 既定値は 0 です。
• 頻度ペナルティ - -2.0 から 2.0 の数値です。正の値は、テキストにおける既存の頻度に基づいて新しいトークンにペナルティを与え、モデルが同じ行をそのまま繰り返す可能性を減少させます。既定値は 0 です。
• プレゼンス ペナルティ - -2.0 から 2.0 までの数値。 正の値は、新しいトークンがこれまでにテキストに出現したかどうかに基づいてペナルティを課し、モデルが新しいトピックについて話す可能性を高めます。 既定値は 0 です。
• 完了の選択肢の数 - 要求に対して生成する完了の選択肢の数です。 このフィールドの値が大きいほど、使用されるトークンの数が多くなります。 その結果コストが高くなるので、このフィールドの値を設定する際はこの点に注意する必要があります。 既定値は 1 です。
• 停止シーケンス - API がそれ以上トークンの生成を停止するシーケンスを最大 4 つ指定します。 返されるテキストには、停止シーケンスが含まれていません。 既定値は null です。

出力

• 上位の生成テキスト - 生成されるテキストです。
• マスク テスト - 潜在的な PII データがマスクされたプレースホルダーに置き換えられた入力プロンプトです。
• コンテンツ生成 - この出力には、補完、使用されたモデル、PII 検出結果に関する追加の詳細を含む、入れ子になった完全な応答オブジェクトが含まれます。
• Citations string - The Context grounding citations string.

コンテンツ生成の使用方法

[コンテンツ生成] アクティビティを使用すると、Studio、Studio Web、または Apps のカスタム プロンプトを柔軟に操作したり、LLM で生成された応答を挿入したりできます。プロンプトに引数と変数を挿入することによって、コネクタ、Orchestrator のキュー アイテムなどを介して一般的なビジネス アプリケーションからデータを取り込む動的なプロンプト テンプレートを実現できます。 これは、独自のユース ケースに適合する、有意義でスケーラブルなオートメーションを構築するのに役立ちます。

大事な： コンテンツ生成に使用するモデルの選択、プロンプトの作成、PII/PHI データの識別と非表示、多かれ少なかれ決定論的な出力を提供する高度なモデル オプションの操作を行うことができます。 重要なのは、LLMは決定論 的ではない ということです。 プロンプトを反復処理し、ログ、外部検証タスク (Action Center)、テストを通じて出力を監視する必要があります。 コンテンツ生成は高度に構成可能ですが、運用環境に展開する前にテストと監視が必要です。

The Context grounding parameter enables Context grounding. You can select one of two options:

• Existing index: Reference the Index name of a created index. This performs RAG on the dataset within that index. This is the typical use case: querying over multiple documents or files.
• ファイルリソース:アクティビティにジャストインタイムでアップロードされたファイルを使用し、 コンテキストグラウンディング により、ジャストインタイムまたはインメモリRAGがその特定のドキュメントをクエリできるようにします。 ここでアップロードできるドキュメントは 1 つだけです。要約ベースのユース ケースに適しています。

結果の数パラメーターは、セマンティック類似性スコアに基づいてコンテキスト グラウンディングによって検索および取得される上位の結果の数を表します。これらの結果は、データ (ページ) のチャンクを表し、プロンプトと関連する生成を根拠とする証拠としてプロンプトのコンテキスト ウィンドウに渡されます。 この数は、モデル コンテキスト ウィンドウの限界まで増やすことができます。 これは、出力が期待される/高品質の結果を生成していない場合に必要になることがあります。

To learn more about using Context grounding, refer to About Context grounding.