予測を確認する

モデルの初期予測を抽出スキーマに照らして確認し、IXP モデルのパフォーマンスを改善するためにプロンプトの指示の調整が必要な箇所を特定します。

事前に定義した抽出スキーマに基づいてモデルが生成した初期の予測を評価します。これにより、モデルのパフォーマンスを向上させるには、プロンプトの指示のどこを調整する必要があるかを把握できます。

モデルは生成 AI を使用して、抽出スキーマで定義されたフィールドとフィールド グループをマッピングし、高い信頼度と精度でそれらを予測します。そして、これらのフィールドとフィールド グループを抽出し、ドキュメント内に存在していれば構造化された JSON 形式で返します。

予測は自動的に生成されます。ただし、タクソノミーに変更を加えたり新しいドキュメントをアップロードしたりした場合は、[予測を検証] ページの [抽出データを予測] ボタンを選択して予測を更新しなければならないことがあります。

1. 2 個から 3 個のドキュメントのサンプルに対する予測を確認します。

2. プロンプトの指示を変更する必要があるかどうかを判断します。

3. テスト サンプルを 10 個のドキュメント、20 個、30 個というように徐々に増やします。これは反復的なプロセスになります。更新するドキュメントの数は、最小限の 10 個から先は業務の受け入れ基準に基づいて判断できます。

   

アノテーション済みのドキュメントのフィルター ボタンを使用すると、アノテーションと予測を相互に比較するのではなく、現在のページのアノテーションまたは送信済みのアノテーションのみを表示できます。以下のいずれかのオプションを選択します。

• 現在のページ
• 送信済みのアノテーションのみ

指示を変更する

すぐに使える予測を確認したら、モデルに追加のコンテキストを提供するためには元のプロンプトの指示のどこを変更する必要があるかを確認します。モデルのパフォーマンスを向上させるには、指示を反復的に調整することが不可欠です。

抽出に関する全体的な指示を変更する

[抽出に関する全体的な指示] を変更するには、[構築] タブに移動し、[タクソノミーを管理] を選択して、プロンプトの指示を編集します。

フィールドの指示を変更する

フィールドのプロンプトの指示は、以下の場所から変更できます。

• [タクソノミーを管理] ページ
• [予測を検証] ページのアノテーション ペイン

[タクソノミーを管理] から変更する場合

1. [構築] タブで [タクソノミーを管理] を選択します。

2. [フィールドとフィールド グループ] タブで、フィールド グループを展開し、特定のフィールドの指示をインラインの表で直接変更します。

3. [保存] を選択します。

   

アノテーション ペインから変更する場合

1. [構築] タブで [予測を検証] を選択します。

2. アノテーション ペインで、フィールドの省略記号を選択します。

3. [フィールドを編集] を選択し、指示を変更します。

4. [保存] を選択します。

   

   

フィールド グループの指示を変更する

フィールド グループのプロンプトの指示は、以下の場所から変更できます。

• [タクソノミーを管理] ページ
• [予測を検証] ページのアノテーション ペイン

[タクソノミーを管理] から変更する場合

1. [構築] タブで [タクソノミーを管理] を選択します。

2. [フィールドとフィールド グループ] タブで、特定のフィールド グループの指示をインラインの表で直接変更します。

3. [保存] を選択します。

   

アノテーション ペインから変更する場合

1. [構築] タブで [予測を検証] ページを選択します。

2. アノテーション ペインで、フィールド グループの省略記号を選択します。

3. [フィールド グループを編集] を選択します。

4. 表示されるサイド パネルの [フィールド グループの詳細] で、指示を変更できます。

   

5. 鉛筆ボタンを選択します。

   

6. [指示] フィールドで、指示を変更します。

7. [保存] を選択します。

フィールドとフィールド グループの変更履歴を使用する

[変更履歴] 機能を使用すると、フィールドまたはフィールド グループの以前のバージョンを確認、比較、復元できます。これを使用すると、プロジェクトのバージョン全体を元に戻すことなく、名前、フィールドの種類、指示を安全に反復処理できます。

変更履歴には、以下の場所からアクセスできます。

• [タクソノミーを管理] ページ
• [予測を検証] ページのアノテーション ペイン

以前のバージョンを表示および比較する

変更履歴機能を使用するには、以下の手順を実行します。

1. [構築] タブで [タクソノミーを管理] を選択します。
2. フィールドまたはフィールド グループの省略記号を選択します。
3. [変更履歴を表示] を選択します。
4. 表示されるウィンドウで、選択したフィールドまたはフィールド グループのすべての以前のバージョンを参照できます。
5. 過去のバージョンと現在のバージョンを比較するには、[ 現在のバージョンと比較 ] オプションを有効化します。この機能には、次の詳細が表示されます。
   • フィールドまたはフィールド グループの最終更新日時
   • フィールド名
   • フィールドの種類
   • 命令バージョン リストを使用して以前の状態を選択し、現在の構成とどのように異なるかを確認します。
6. バージョンを比較した後、以下のいずれかのオプションを選択します。
   • すべて復元 - 選択したバージョン全体を、名前、フィールドの種類、指示を含めて復元します。
   • 指示を復元 - 選択したバージョンの指示のみを復元し、現在の名前とフィールドの種類は維持します。 復元した設定はすぐに適用され、新しいプロジェクト バージョンとして記録されます。

警告:

フィールドの種類を変更すると、既存のアノテーションはすべて失われ、フィールドのバージョン履歴は破棄されます。この操作を元に戻す方法は、以前にデプロイされたモデル バージョンに戻す以外にありません。大幅な変更を行う前に、最新のモデル バージョンをデプロイしてください。

または、アノテーション ペインから、フィールドとフィールド グループの省略記号を使用して変更履歴にアクセスすることも

できます。

前の指示に戻す

前の指示に戻すには、以下の手順を実行します。

1. [構築] タブに移動します。

2. [タクソノミーを管理] を選択します。

3. フィールドまたはフィールド グループの省略記号を選択し、[変更履歴を表示] を選択します。表示されるウィンドウで、選択したフィールドまたはフィールド グループのすべての以前のバージョンを参照できます。

4. 次に、復元する指示を含むバージョンを選択します。

5. [現在と比較] オプションを有効化して、過去のバージョンと現在のバージョンを比較します。

6. [指示を復元] を選択して、選択したバージョンの指示のみを復元し、現在の名前とフィールドの種類は維持します。

   

新しい予測を確認する

新しい予測を確認するには、以下の手順を実行します。

1. [非構造化ドキュメントと複雑なドキュメント] 機能の [構築] タブに移動します。

2. [予測を検証] を選択します。

3. 新しい予測がサイド パネルに表示されます。そうでない場合は、[抽出データを予測 ] ボタンを選択します。

   

Missing field groups in predictions

Extraction can occasionally return an empty field group for a document, while the same field group is extracted correctly from documents that look identical in the same project. This comes from variability in the underlying model rather than from the content or the structure of the document.

Predictions are cached against the document and the model configuration, so the result persists for that document until the model configuration or taxonomy changes. Deleting the document and uploading the same file again returns the stored result instead of running a new extraction.

Detecting missed field groups

To detect missed field groups across a project, add the Missed predictions column to the field performance table on the Measure page. A high count for a field group indicates that entire groups are being missed, rather than individual values being extracted incorrectly. For more details, refer to Evaluating model performance in Measure.

Running new predictions

To run new predictions, change the model configuration or the taxonomy. Changing Seed under Model configuration, then Advanced options, runs new predictions for every document in the project without altering any other model setting. For more details, refer to Advanced options.