CommPath LLM と Preview LLM の比較

注: 抽出データを生成するときには、以下の 2 つの異なる LLM のいずれかを選択できます。

1. CommPath LLM
2. Preview LLM

以下は、使用する LLM を決定する際のいくつかの考慮事項の概要です。ユース ケースでメッセージあたり 30 を超えるフィールドを抽出する必要がある場合、現在は Preview LLM を使用することをお勧めします。

CommPath LLM

• コミュニケーション データ用に微調整された UiPath® 独自の LLM を活用します。
• 現在はメッセージあたり約 30 フィールドの抽出に限定されています​。
• Preview LLM よりもレイテンシが小さい​。
• データに基づいて微調整できます。
• Improving performance for CommPath, both in terms of the number of fields which can be extracted and the inference speed for the model is a high priority.
• Provides specific occurrence confidences (check the Automating with GenEx section for more details) compared to the Preview LLM.​

Preview LLM

• Azure OpenAI の GPT モデルを基盤となる LLM として活用します。
• UiPath® ではアップタイムを保証していません。Azure OpenAI エンドポイントに完全に依存するからです。エンドポイントがダウンしたり過負荷になったりした場合、UiPath® は可用性を保証できません​。
• メッセージあたり 30 を超えるフィールドを抽出できます。
• CommPath LLM と比較してレイテンシが大きい​。
• コンテキスト内学習に限定されます​。
  注: コンテキスト内学習を使用する場合、プラットフォームはプロンプトの入力内容からのみ学習できます。Communications Mining ではプロンプトをある程度まで自動的に調整できますが、モデルはユーザー主導の検証からは学習しません。

以下に示す設定を使用して、生成 AI による抽出に使用する LLM を選択します。

CommPath LLM は既定で有効化されています。Preview LLM を有効化するには、トグルを以下の画像のように設定する必要があります。

[生成 AI による抽出モデルを使用] トグルがオフになっている場合は、CommPath LLM を使用していることになります。

[生成 AI 機能を使用] と [生成 AI による抽出モデルを使用] トグルがオンになっていると、プラットフォームの抽出プロセスで UiPath® Azure OpenAI エンドポイントが使用されます。

推奨されるアプローチ

1. CommPath LLM を使用して抽出のトレーニングを開始します。
2. 抽出が正確に実行される場合は、CommPath LLM を使用して抽出のトレーニングを続けます。そうでない場合は、各メッセージのフィールド数が多いかテーブルが大きいため、Preview LLM に切り替えます。​

   抽出データの予測が正確かどうかを判断するには、[検証] ページの [生成 AI による抽出] タブで検証の統計情報を確認します。抽出の精度と再現率がユース ケースに適している場合は、引き続き CommPath LLM を使用してください。

   いずれかのデータ ポイントが CommPath LLM で期待どおりに抽出されない場合:

   1. [モデル] に移動して現在のモデル バージョンをピン留めし、最新のモデル バージョンの [ピン留め] を選択します。
   2. UiPath® の担当者に連絡し、抽出が適切に実行されなかったモデルのバージョンを確認します。UiPath® の担当者が Communications Mining の製品チームと直接連携し、改良点を調査して実装します​。
3. Preview LLM を使用する場合は、CommPath LLM をトレーニングしたときと同じ方法でモデルのトレーニングを続行します。それにより、各抽出の正しい例を提供してください。

Note: When you select the Preview model, only that model will be trained for Generative Extraction—without simultaneously training a CommPath model. This results in faster training and validation for Preview model users. If you switch to CommPath, predictions will continue to be provided by the Preview LLM until a CommPath model version has been trained (and vice versa).