LLM との対話を監査する

非構造化ドキュメントと複雑なドキュメントに対する AI Trust Layer の監査。ドキュメント抽出操作で記録される LLM の入力と出力、およびそれらの入力と出力のコンプライアンスの確認方法

非構造化ドキュメントと複雑なドキュメント機能は、すべての大規模言語モデル (LLM) 要求を UiPath AI Trust Layer™ 経由で送信し、各ドキュメント抽出操作を監査ログに記録します。監査ログにより、管理者は LLM に送信されたデータと LLM から返された応答を可視化し、コンプライアンス、ガバナンス、データの透明性の要件をサポートできます。

監査エントリの表示

各抽出データは、[AI Trust Layer] ページの [監査] タブに IXP の製品名の下に表示され、設計時と実行時の要求の両方について大規模言語モデル (LLM) に送信された入力とそれが返した出力が含まれます。

エントリは 60 日間表示され、エクスポートしてより長い保持期間を取得できます。監査ビュー、エクスポート、保持について詳しくは、「 監査ログを表示する」をご覧ください。

抽出操作の記録方法

各ドキュメント処理ジョブは、1 つの監査対象アクションとして記録されます。ジョブには、基になる複数の LLM 要求 (前処理とその後の抽出など) が含まれる場合がありますが、これらは 1 つのエントリとしてまとめて表示されます。

抽出操作は、予測を生成する両方のコンテキストで監査されます。

• 設計時: モデルの構築および検証中に生成された予測 (アノテーション ビューなど)。
• 実行時: パブリッシュ済みのモデルが Studio のワークフローまたは API を介して要求した予測です。

監査対象の入力

抽出操作に対して記録される入力には、以下が含まれます。

• プロジェクト ID
• モデルのバージョン。
• 処理されたドキュメントのファイル名です。
• 要求の種類: 設計時または実行時
• タクソノミーとフィールドの指示に基づいて作成されたプロンプト。
• モデルの設定: 前処理オプションと詳細オプション (属性付け方法、温度、上位 P、シード、頻度ペナルティ)。

監査対象の出力

抽出操作に対して記録される出力は、ドキュメントに対して返された予測を含む、抽出要求に対する LLM の生の応答です。

監査の対象外

監査エントリには以下は含まれません。

• 前処理または後処理ステップの入力と出力。
• 付加価値機能または差別化要因に関する実装の詳細。たとえば、インテリジェントな前処理オプション、属性付けの実装の詳細などです。

監査対象データを制御する

AI Trust Layer の Automation Ops ポリシーでは、監査データの処理方法を制御します。入力データと出力データの保存をオフにしたり、リクエストが LLM に到達する前に個人を識別できる情報 (PII) をマスクしたりできます。詳しくは、以下のリソースをご覧ください。

• ガバナンス
• AI Trust Layer のポリシーの設定