コンテンツ生成

説明

チャット補完モデルを使用して、指定された要求に対するチャット応答を生成します。

プロジェクトの対応 OS

Windows | クロスプラットフォーム

構成

• コネクション - Integration Service で確立されたコネクションです。ドロップダウン メニューからコネクションを選択、追加、または管理します。
• モデル名 - 使用するモデルまたはデプロイの名前または ID です。既定では、観測された出力が最高品質のモデルが使用されます。ただし、目的の出力とテストに基づいて別のモデルを選択できます。モデルを切り替えると、出力に影響を与える可能性があります。
• プロンプト - チャット補完要求に使用するユーザー プロンプトです。このフィールドでは String 型の入力がサポートされています。
  注:

  カスタム プロンプトに画像を添付するには [ 画像分析 ] アクティビティを使用します。

• 個人を識別できる情報 (PII) を検出 - 入力プロンプトから PII を検出するかどうかを指定します。Boolean 値です。既定値は [False] です。
  • PII フィルター処理 - [True] に設定すると、検出された PII や PHI が LLM への送信前にマスクされます。これによって出力の品質が影響を受ける場合があります。[False] に設定すると、検出された PII がプロンプトに追加されます。どちらの場合も、検出された PII が出力に記述されます。このフィールドは、[個人を識別できる情報 (PII) を検出] を [True] に設定している場合に表示されます。
  • 個人を識別できる情報 (PII) の言語 - PII をスキャンするプロンプトの入力言語と出力言語です。用意されているドロップダウン リストから言語を選択します。このフィールドは、[個人を識別できる情報 (PII) を検出] を [True] に設定している場合に表示されます。
  • 個人を識別できる情報 (PII)/保護された健康情報 (PHI) カテゴリ - 分析する PII/PHI カテゴリです （指定は任意）。何も設定しない場合、すべてのカテゴリがレビューされます。このフィールドは、[個人を識別できる情報 (PII) を検出] を [True] に設定している場合に表示されます。
• システム プロンプト - チャット補完要求のためのシステム プロンプトまたは状況に応じた指示です。このフィールドでは String 型の入力がサポートされています。
• コンテキスト グラウンディング - 出力の品質と精度を向上させるため、プロントをコンテキストにグラウンディングさせます。この機能により、ユーザーは独自のビジネス ロジックや知識をプロンプトに挿入できます。ドキュメントがアップロードされた Orchestrator バケットを参照したり、ファイルを一回限りの利用のためにアップロードしたりできます。ドロップダウン メニューから、利用可能なオプション ([なし]、[既存のインデックス]、[ファイル リソース]) のいずれかを選択します。
  • [Existing index] オプション:
    • Orchestrator フォルダー パス - コンテキスト グラウンディングに使用するインデックスを含む Orchestrator のフォルダーです。これは Shared フォルダーである必要があります。名前で検索するか、そのテナント内で権限を持つ Orchestrator フォルダーのドロップダウン リストから選択します。[強制更新] ボタンを使用して、最新のフォルダーを取得します。このフィールドでは String 型の入力がサポートされています。
    • インデックス - プロンプトの根拠となるインデックスの名前または ID です。用意されているドロップダウン リストからインデックスを選択します。
  • [ファイル リソース] オプション:
    • ファイル - クリックして変数を使用します。このフィールドでは IResource 型の入力がサポートされています。
      注:

      このフィールドで指定するファイルには 30 MB のファイル サイズ制限があります。でファイルのサイズがこの制限を超える場合は、Orchestrator にデータをアップロードし、AI Trust Layer を使用してインデックスを作成します。サポートされている形式は、PDF、JSON、CSV、DOCX、JSON、TXT です。

• 結果の数 - 返される結果の数を示します。このフィールドでは Int64 型の入力がサポートされています。

プロパティを管理

[プロパティを管理] ウィザードを使用して、オブジェクトの標準フィールドまたはカスタム フィールドを設定または使用します。フィールドを選択してアクティビティ キャンバスに追加できます。追加した標準フィールドまたはカスタム フィールドは、[プロパティ] パネル (デスクトップ版の Studio) または [その他のプロパティを表示] (Studio Web) で利用できます。

その他のプロパティ

• 個人を識別できる情報 (PII) の信頼度スコア - PII として認定され、編集するために最小限必要な信頼度スコアです。このフィールドは、[個人を識別できる情報 (PII) を検出] を [True] に設定している場合に表示されます。
• 最大トークン数 - 補完時に生成するトークンの最大数です。プロンプトのトークン数と結果/完了のトークン数は、このフィールドに指定された値を超えることはできません。プロンプト トークン カウントの余地を確保するために、この値をモデルの最大カウントより小さく設定することをお勧めします。既定値は 1024 です。値を設定しない場合、要求に対応するために必要なトークン、またはモデルで許可される最大トークンが既定で使用されます。このフィールドでは Int64 型の入力がサポートされています。
• 温度 - 使用する創造性因子またはサンプリング温度の値です。値が大きいほど、モデルの出力は不確定になります。より創造的な応答または補完を得る場合は「0.9」に設定し、明確に定義されたまたはより正確な答えを含む補完を得る場合は「0」(最大確率サンプリングともいう) に設定します。一般的には、この値または核サンプル値を既定値から変更することが推奨されており、両方の値を変更することは推奨されていません。既定値は 0 です。
• 頻度ペナルティ - -2.0 から 2.0 の数値です。正の値は、テキストにおける既存の頻度に基づいて新しいトークンにペナルティを与え、モデルが同じ行をそのまま繰り返す可能性を減少させます。既定値は 0 です。
• プレゼンス ペナルティ - -2.0 から 2.0 の数値です。正の値は、これまでのテキストに表示されているかどうかに基づいて新しいトークンにペナルティを与え、モデルが新しいトピックについて話す可能性を高めます。既定値は 0 です。
• 補完の選択肢の数 - 要求に対して生成する補完の選択肢の数です。このフィールドの値が高いほど、使用されるトークンの数が多くなり、コストが高くなります。このフィールドの値を設定する際は、この点にご注意ください。既定値は 1 です。
• 停止シーケンス - API が追加のトークンの生成を停止する最大 4 つのシーケンスです。返されたテキストには停止シーケンスは含まれません。既定値は null です。

出力

• 上位の生成テキスト - 生成されるテキストです。
• マスクされたテキスト - このフィールドは、潜在的な PII データがマスクされたプレースホルダーに置き換えられた入力プロンプトを表します。
• コンテンツ生成 - この出力には、入れ子形式としたすべての応答オブジェクトが記述されます。このようなオブジェクトとして、完了、使用されたモデル、PII 検出結果に関する追加の詳細などがあります。
• 引用文字列 - 引用文字列の根拠となるコンテキストです。

コンテンツ生成の使用方法

[ コンテンツ生成 ] アクティビティを使用すると、Studio、Studio Web、Apps で、LLM 生成応答の柔軟な操作やカスタム プロンプトへの LLM 生成応答の挿入ができます。プロンプトに引数や変数を挿入することで、コネクタや Orchestrator のキュー アイテムなどを介して一般的なビジネス アプリケーションからデータを取り込む動的なプロンプト テンプレートを実現できます。これにより、独自のユース ケースに適した、有意義でスケーラブルなオートメーションを構築できます。

重要:

コンテンツ生成に使用するモデルの選択、プロンプトの作成、PII/PHI データの識別と非表示、おおよそ確定的な出力を提供する高度なモデル オプションの操作ができます。LLM は決定論的ではないという点が重要です。プロンプトを反復処理し、ログ、外部検証タスク (Action Center)、テストで出力を監視する必要があります。コンテンツ生成はきわめて高い構成可能性を備えていますが、運用環境にデプロイする前にテストと監視が必要です。

[ コンテキスト グラウンディング ] パラメーターを指定するとコンテキスト グラウンディングが有効になります。次の 2 つのオプションのいずれかを選択できます。

• Existing index: 作成されたインデックスのインデックス名を参照します。これにより、そのインデックスのデータセットに RAG が実行されます。これは、複数のドキュメントまたはファイルに対してクエリを実行する一般的なユース ケースです。
• [ファイル リソース]: 前のアクティビティのファイル変数 (Google ドライブからダウンロードしたドキュメントなど) を使用して、コンテキスト グラウンディングで RAG の Just-In-Time (JIT) スタイルを実行します。つまり、ドキュメントをインデックスに取り込み、インデックス全体を検索し、プロンプトを拡張してからインデックスを削除するため、データが永続的ではありません。
  注:

  • これらのドキュメントのサイズは小さくしてください (50 ページ未満)。Integration Service のアクティビティにはタイムアウト期間があり、この期間内に前の処理をすべて完了する必要があります。
  • スキャンした画像を含む PDF がある場合は、ファイルをダウンロードした後に [データを抽出] アクティビティの [Document Understanding OCR] オプションを使用して、これらの画像からテキストを抽出することをお勧めします (コンテキスト グラウンディングはまだ画像をサポートしていないためです)。その extracted_data の出力を、ダウンロードしたファイルを指すファイル リソースを使用してプロンプトに渡します。

[結果の数] パラメーターは、セマンティック類似性スコアに基づくコンテキスト グラウンディングによって検索および取得された上位の結果の数を表します。これらの結果は、プロンプトおよび関連する生成をグラウンディングするための根拠として、プロンプトのコンテキストウィンドウに渡されるデータ (ページ) のチャンクを表します。この数は、モデル コンテキスト ウィンドウの制限まで増やすことができます。これは、出力が期待される/高品質の結果を生成していない場合に必要になることがあります。

コンテキスト グラウンディングの詳しい使用方法については「About Context Grounding」を参照してください。