CommPath LLM と Preview LLM の比較

注: 抽出データを生成するときには、以下の 2 つの異なる LLM のいずれかを選択できます。

CommPath LLM
Preview LLM

以下は、使用する LLM を決定する際のいくつかの考慮事項の概要です。ユースケースでメッセージあたり 30 を超えるフィールドを抽出する必要がある場合、現在は Preview LLM を使用することをお勧めします。

CommPath LLM

コミュニケーションデータ用に微調整された UiPath® 独自の LLM を活用します。
現在はメッセージあたり約 30 フィールドの抽出に限定されています。
Preview LLM よりもレイテンシが小さい。
データに基づいて微調整できます。
抽出できるフィールドの数とモデルの推論速度の両方の観点から CommPath のパフォーマンスを向上させることが 2024 年の最優先事項となっています。
Preview LLM と比較して発生の信頼度が高い (詳細については、「生成 AI による抽出によるオートメーション」セクションをご覧ください)。

Preview LLM

Azure OpenAI の GPT モデルを基盤となる LLM として活用します。
UiPath® ではアップタイムを保証していません。Azure OpenAI エンドポイントに完全に依存するからです。エンドポイントがダウンしたり過負荷になったりした場合、UiPath® は可用性を保証できません。
メッセージあたり 30 を超えるフィールドを抽出できます。
CommPath LLM と比較してレイテンシが大きい。
コンテキスト内学習に限定されます。
注: コンテキスト内学習を使用する場合、プラットフォームはプロンプトの入力内容からのみ学習できます。Communications Mining ではプロンプトをある程度まで自動的に調整できますが、モデルはユーザー主導の検証からは学習しません。

以下に示す設定を使用して、生成 AI による抽出に使用する LLM を選択します。

CommPath LLM は既定で有効化されています。Preview LLM を有効化するには、トグルを以下の画像のように設定する必要があります。

[生成 AI による抽出モデルを使用] トグルがオフになっている場合は、CommPath LLM を使用していることになります。

[生成 AI 機能を使用] と [生成 AI による抽出モデルを使用] トグルがオンになっていると、プラットフォームの抽出プロセスで UiPath® Azure OpenAI エンドポイントが使用されます。

推奨されるアプローチ

CommPath LLM を使用して抽出のトレーニングを開始します。
抽出が正確に実行される場合は、CommPath LLM を使用して抽出のトレーニングを続けます。そうでない場合は、各メッセージのフィールド数が多いかテーブルが大きいため、Preview LLM に切り替えます。
抽出データの予測が正確かどうかを判断するには、[検証] ページの [生成 AI による抽出] タブで検証の統計情報を確認します。抽出の精度と再現率がユースケースに適している場合は、引き続き CommPath LLM を使用してください。

いずれかのデータポイントが CommPath LLM で期待どおりに抽出されない場合:
1. [モデル] に移動して現在のモデルバージョンをピン留めし、最新のモデルバージョンの [ピン留め] を選択します。
2. UiPath® の担当者に連絡し、抽出が適切に実行されなかったモデルのバージョンを確認します。UiPath® の担当者が Communications Mining の製品チームと直接連携し、改良点を調査して実装します。
Preview LLM を使用する場合は、CommPath LLM をトレーニングしたときと同じ方法でモデルのトレーニングを続行します。それにより、各抽出の正しい例を提供してください。

Note: When you select the Preview model, only that model will be trained for Generative Extraction—without simultaneously training a CommPath model. This results in faster training and validation for Preview model users.