モデルのパフォーマンスを評価する

モデルのパフォーマンスは、以下の場所で評価できます。

• [構築] タブ。プロジェクトの総合スコアと各ドキュメントのエラー率が表示されます。
• [測定] タブ。フィールド グループとフィールド レベルのパフォーマンスが表示されます。

[構築] でモデルのパフォーマンスを評価する

[構築] タブの [プロジェクト スコア] の下で総合評価を表示できます。

注:

• 健全なモデルのプロジェクト スコアは「良好」または「優秀」であり、フィールドのパフォーマンス警告はありません。​
• プロジェクト スコアは、すべてのフィールドの平均 F1 スコアに基づいて計算されます。

さらに、[構築] タブの [ドキュメント] セクションの [エラー率] 列に、各ドキュメントのエラー率が表示されます。

注: エラー率は、アノテーション済みのドキュメントでのみ利用できます。エラー率は、各ドキュメントにおけるモデルによる間違いの数、つまりモデルの予測とユーザーのアノテーションの差を示します。

[評価] でモデルのパフォーマンスを評価する

さらに詳細な評価を参照するには、[評価] タブでモデル バージョンに基づくダッシュボードを表示します。ここには、プロジェクトの総合スコアと抽出データの個々のパフォーマンスが含まれます。

モデルのバージョン

モデルのバージョンには、そのバージョンが作成された時点での、プロジェクトの現在のステートがキャプチャされます。バージョンをパブリッシュして保存し、オートメーションで使用したり、[評価] でスターを付けてパフォーマンス統計情報を保存したりできます。現在のパフォーマンスを以前のバージョンと比較して確認することで、指示を反復しながらパフォーマンスを継続的に向上させることができます。

異なるモデル バージョンを比較する

モデル バージョンを比較するには、次の手順に従います。

1. [評価] タブに移動します。このページには、モデルの最新バージョンまたは事前にピン留めしておいたバージョンを表示できます。
2. [モデルのバージョン] を展開して古いバージョンを選択し、異なるモデル バージョン間でパフォーマンスを比較します。
3. ダッシュボードに表示された、選択したバージョンのパフォーマンスを確認して比較します。

モデル バージョンにスターを付ける

タクソノミー (指示を含む) またはモデルの設定を変更するたびに、新しいモデル バージョンが作成されます。​モデルの最新バージョンはいつでも利用できますが、モデルの特定のバージョンにスターを付けて (固定し)、そのパフォーマンス統計情報を常にダッシュボードに表示することもできます。

モデル バージョンにスターを付けるには、以下の手順に従います。

1. [モデルのバージョン] ドロップダウン メニューを展開して、利用可能なすべてのバージョンのリストを表示します。
2. 常にリストの先頭とダッシュボードに表示するモデル バージョンの横にある星型のアイコンを選択します。
   注: モデル バージョンにスターを付けても、モデル バージョン自体は保存されません。保存されるのは、そのパフォーマンス統計情報だけです。モデル バージョンを保存するには、[パブリッシュ] タブでパブリッシュする必要があります。