検証

[検証] ページには、モデルのパフォーマンスに関する詳細情報が、ラベルとエンティティの両方について表示されます。

[ラベル] タブでは、ラベルの全体的なモデルの評価を確認できます。これには、評価を構成する要因の詳細な内訳、データセットの他のメトリック、個々のラベルのパフォーマンスが含まれます。

[エンティティ] タブでは、データセットで有効化されているすべてのエンティティについて、エンティティの予測のパフォーマンスに関する統計情報を確認できます。

[ラベル] の既定の検証ページ

モデルの評価の上にある [モデル バージョン] ドロップダウンには、特定のデータセットの過去のモデル バージョン全体の検証スコアが表示されます。また、個々のモデル バージョンに優先順位を付けたり「スター」を付けたりして、今後、リストの一番上に表示することもできます。このツールは、モデルを強化する際に進行状況を追跡および比較するのに役立ちます。

[モデル バージョン] ドロップダウン

ラベル

[要因] タブ (上図を参照) には次の情報が表示されます。

• モデルの評価に寄与する 4 つの重要な要因: バランス、カバレッジ、ラベルの平均パフォーマンス、およびパフォーマンスが最も低いラベルのパフォーマンス
• 各要因のスコアと、その要因のスコアの寄与している要因の内訳
• 各要因のスコアを改善するための、クリック可能な推奨される次の操作

[メトリック] タブ (下図を参照) には、次の情報が表示されます。

• トレーニング セットのサイズ – モデルのトレーニングに使用されたメッセージの数
• テスト セットのサイズ (つまり、モデルが評価されたメッセージの数)
• ラベル数 – タクソノミー内のラベルの総数
• 平均適合率と再現率 – すべてのラベルの、特定の再現率値での平均適合率を示すグラフ
• 平均適合率の平均値 (mAP) – すべてのラベルの平均適合率を示す統計情報
• すべてのラベルにわたり、ラベルごとの平均適合率とトレーニング セットのサイズを示すグラフ

[ラベル] の検証内の [メトリック] タブ

[検証] ページでは、タクソノミーから個々のラベルを選択して、パフォーマンスをドリルダウンすることもできます。

ラベルを選択すると、そのラベルの平均適合率のほか、特定の信頼度のしきい値 (ユーザーが自分で調整可能) に基づくそのラベルの適合率と再現率を確認できます。

特定の検証グラフをラベル付けする

ラベルの検証の実際の動作と使用方法について詳しくは、こちらをご覧ください。

エンティティ

[エンティティ] の検証ページ

[エンティティ] タブ (上図を参照) には次の情報が表示されます。

• トレーニング セットのエンティティ数 – 検証モデルのトレーニングに使用された、アノテーション済みのエンティティの数です。
• テスト セットのエンティティ数 – 検証モデルの評価に使用された、アノテーション済みのエンティティの数
• トレーニング セットのメッセージ数 – トレーニング セット内の、アノテーション済みのエンティティがあるメッセージの数です。
• テスト セットのメッセージ数 – テスト セット内の、アノテーション済みのエンティティがあるメッセージの数です。
• 平均適合率 - すべてのエンティティの平均適合率のスコアです。
• 平均再現率 - すべてのエンティティの再現率スコアの平均値です。
• 平均 F1 スコア - すべてのエンティティの平均 F1 スコアです (F1 スコアは適合率と再現率の調和平均であり、これらが均等に重み付けされます)。
• 同じ統計情報ですが、各エンティティが個別に対象になります。

エンティティの検証の実際の仕組みとその使用方法について詳しくは、こちらをご覧ください。