ドキュメントのアノテーションを行う

Document Understanding のドキュメントのアノテーション ワークフロー。プロジェクトのセットアップ後に、特殊なモデルとフィールド スキーマ定義を使用して自動的に事前アノテーションを行う手順も記載しています。

プロジェクトが正常に作成され、ドキュメントを特定のドキュメントの種類にアップロードすると、ドキュメントに自動的にアノテーションが行われます。これは、ドキュメントの種類のスキーマに基づいて、専門化されたモデルを使用して行われます。このスキーマでは、特定のドキュメントの種類から抽出するフィールドが明確に定義されています。ドキュメントの種類のスキーマを確認するには、[アノテーション] ページに移動して [フィールド] セクションを確認します。

予測はドキュメント内のテキストに下線付きで示され、削除できません。予測が間違っていて、特定のフィールドに一致させることができない場合は、無視してかまいません。トレーニング プロセスでは、確認済みのフィールドのみがトレーニングに使用され、下線は考慮されません。

アノテーションを追加で行っていくうちに、予測の下線部分が徐々に入力内容と一致していきます。下線部分とユーザーがアノテーションを行ったフィールドとの間に最初からほとんど不整合がない場合もあります。ただし、さらにアノテーションを行ってモデルが改善されていくと、下線部分は、ユーザーが提供したデータとより正確に一致するようになります。

次の画像では、配送先住所の予測に誤りがあり、人名まで含まれています。

これを修正するには、配送先住所を確認するだけです。名前に関連する下線付きのテキストを削除する必要はありません。アノテーションを続行してこのようなエラーを修正していくと、下線付きのテキストが確認済みのフィールドと一致しないケースが減っていきます。

注:

モデルのトレーニングをトリガーするには、40 以上の操作が必要です。たとえば、ドキュメントが 20 個ある場合、ドキュメント 1 個につき 2 つ以上のフィールドに注釈を付ける必要があるため、合計で 40 の操作が必要になります。

ヒント:

モデルのパフォーマンスを最適化するには、[ 推奨事項] セクションの提案に従います。これらの提案は、モデルの全体的なパフォーマンスを向上させることを目的としています。

Fields included in the trained model

A field belongs to the document type schema as soon as it is defined, but it enters the trained model only when enough annotated documents support it. The threshold differs by field type.

フィールドの種類	Annotation required for inclusion
Extraction field	Annotated with a value in at least one document.
Classification field	At least two of its classes, each annotated in at least five documents.

重要:

Values marked as missing do not count toward inclusion. An extraction field is left out of the trained model if every one of its annotations is marked as missing, even though those documents appear as annotated in the Build section.

For a classification field, classes annotated in fewer than five documents are left out of the trained model. If fewer than two classes remain, the whole field is left out. This is separate from the requirement to define at least two classes when the field is created, described on the Build page.

注:

Part of your annotated data is set aside automatically for validation, and only documents in the training set count toward these thresholds. Annotating more than the minimum keeps a class from falling short after the split.

Recommendations flag classification fields and classes that have too few annotations. For more information, see Measure.

予測されたドキュメントを検証する

ドキュメントをすべてアップロードして予測が完了したら、事前アノテーション済みのフィールドを検証または変更することが目標になります。すべてのフィールドが正確に予測されたドキュメントの場合は、[確認] を選択して、すべてのフィールドを一度に承認します。ドキュメントの確認が完了すると、ドキュメント リストで緑色の盾のマークが付きます。

ドキュメントが部分的にしか確認されていない場合は、ドキュメント リストで空の盾の記号が付きます。この記号は、この特定のドキュメントのアノテーション プロセスが進行中であることを示します。最終的な目標は、すべてのドキュメントを確認済みにすることです。

検証中に、次のシナリオが発生する可能性があります。

• 予測は正確であり、検証する必要がある
• 予測に誤りがあり、フィールドがドキュメントに存在する
• 予測に誤りがあり、フィールドがドキュメントに存在しない
• 予測がない

予測は正確であり、検証する必要がある

予測が正しく行われている場合は、予測を確定します。そのためには、下線付きのテキストを選択して [確認] を選択するか、フィールドの確認用のチェックボックスをオンにします。ただし、最適な方法は、フィールドに割り当てられているホットキー (このシナリオでは「N」) を押すことです。

予測に誤りがあり、フィールドがドキュメントに存在する

予測が正しくない場合は、ドキュメントから正しいテキストを選択して、ドロップダウンから適切なフィールドを選択し、[確認] を選択します。

表を操作するときに、誤って予測された値を無視するよう選択できます。これらの値はモデルのトレーニングに使用されなくなります。また、再トレーニングされたモデルは、今後の反復処理でこれらの値を予測しないように学習します。

予測に誤りがあり、フィールドがドキュメントに存在しない

予測が間違っていて、フィールドがドキュメントに存在しない場合は、フィールド名の横にある 3 点リーダー メニューのアイコン ⁝ を選択し、[存在しないとしてマーク] を選択します。

重要:

間違ったラベルが付けられたフィールドは、存在しないとしてマークすることもできます。たとえば、ドキュメント内に [ベンダー住所 ] は存在しないが、処理中に別のフィールドが [ベンダー住所] として事前にラベル付けされていた場合、検証中にそのフィールドを存在しないとしてマークできます。

予測がない

予測がないフィールドは、空のセルとして表示されます。このようなセルは、存在しないものとして 1 つずつマークを付けることも、[確認] ボタンを選択して一括でマークを付けることもできます。

ドキュメントの種類の設定

ドキュメントの種類の設定は、[アノテーションを行う] ビューから変更できます。

そのためには、ドキュメントの種類名の右側にある 3 点リーダー メニューのアイコン ⁝ を選択して、[設定] を選択します。

次の設定を変更できます。

• ベース モデル: [推奨されるアクション] に表示されるデータセットのサイズの推定値は、トレーニングに使用されるベース モデルによって異なります。対象のドキュメントの種類に最も類似したベース モデルを使用すると、必要とされるアノテーション作業量が減ります。
• 言語の数: [推奨されるアクション] に表示されるデータセットのサイズの推定値は、データセットに含まれる言語の数によって異なります。一般には、言語の数が多いほど、より多くのデータのアノテーションを行う必要があります。