LLM との対話を監査する

AI Trust Layer による、UiPath Maestro™ Flow の抽出ノードのドキュメント抽出操作、記録する LLM の入力と出力、およびそれらの確認方法の監査。

フロー 抽出 ノードは、すべての大規模言語モデル (LLM) 要求を UiPath AI Trust Layer 経由で送信します。AI Trust Layer™ は、各ドキュメント抽出操作を監査ログに記録します。監査ログにより、管理者は LLM に送信されたデータと LLM から返された応答を可視化し、コンプライアンス、ガバナンス、データの透明性の要件をサポートできます。

監査エントリの表示

各抽出操作は、[AI Trust Layer] ページの [監査] タブに IXP の製品名の下に表示されます。これには、大規模言語モデル (LLM) に送信された入力と、LLM から返された出力が含まれます。これには、設計時と実行時の要求の両方について含まれます。

エントリは 60 日間表示され、エクスポートしてより長い保持期間を取得できます。監査ビュー、エクスポート、保持について詳しくは、「 監査ログを表示する」をご覧ください。

抽出操作の記録方法

各ドキュメント処理ジョブは、1 つの監査対象アクションとして記録されます。ジョブには、基になる複数の LLM 要求 (前処理とその後の抽出など) が含まれる場合がありますが、これらは 1 つのエントリとしてまとめて表示されます。

抽出操作は、予測を生成する両方のコンテキストで監査されます。

• 設計時: 抽出 ノードの抽出モデルの構築および評価中に生成される予測です。
• 実行時: 抽出ノードが デプロイ済みフローの一部として実行されるときに要求される予測です。

監査対象の入力

抽出操作に対して記録される入力には、以下が含まれます。

• プロジェクト ID
• モデルのバージョン。
• 処理されたドキュメントのファイル名です。
• 要求の種類: 設計時または実行時
• タクソノミーとフィールドの指示に基づいて作成されたプロンプト。
• モデルの設定: 前処理オプションと詳細オプション (属性付け方法、温度、上位 P、シード、頻度ペナルティ)。

監査対象の出力

抽出操作に対して記録される出力は、ドキュメントに対して返された予測を含む、抽出要求に対する LLM の生の応答です。

監査の対象外

監査エントリには以下は含まれません。

• 前処理または後処理ステップの入力と出力。
• 付加価値機能または差別化要因に関する実装の詳細。たとえば、インテリジェントな前処理オプション、属性付けの実装の詳細などです。

監査対象データを制御する

AI Trust Layer の Automation Ops ポリシーでは、監査データの処理方法を制御します。入力データと出力データの保存をオフにしたり、リクエストが LLM に到達する前に個人を識別できる情報 (PII) をマスクしたりできます。詳しくは、以下のリソースをご覧ください。

• ガバナンス
• AI Trust Layer のポリシーの設定