検証

[検証] ページには、モデルのパフォーマンスに関する詳細情報が、ラベルと一般フィールドの両方について表示されます。

[ ラベル] タブでは、ラベルの全体的な モデルの評価を確認できます。これには、評価を構成する要因の詳細な内訳、データセットの他のメトリック、個々のラベルのパフォーマンスが含まれます。

[一般フィールド] タブでは、データセットで有効化されているすべての一般フィールドについて、一般フィールドの予測のパフォーマンスに関する統計情報を確認できます。

[モデル バージョン] ドロップダウン メニューを使用すると、特定のデータセットの過去のモデル バージョン全体の検証スコアを表示できます。また、個々のモデル バージョンに優先順位を付けたりスターを付けたりして、今後、リストの一番上に表示することもできます。このツールは、モデルの構築中に進行状況を追跡および比較するのに役立ちます。

ラベル

[要因] タブには次の情報が表示されます。

• モデルの評価に寄与する 4 つの重要な要因: バランス、カバレッジ、ラベルの平均パフォーマンス、およびパフォーマンスが最も低いラベルのパフォーマンス
• 要因ごとに、スコアと、要因スコアの寄与している要因の内訳が表示されます。
• 各要因のスコアを改善するための、選択可能な推奨される次の操作

[メトリック] タブには次の情報が表示されます。

• トレーニング セットのサイズ – モデルのトレーニングに使用されたメッセージの数

• テスト セットのサイズ – モデルの評価に使用されたメッセージの数

• ラベル数 – タクソノミー内のラベルの総数

• 平均適合率と再現率 – すべてのラベルの、特定の再現率値での平均適合率を示すグラフィック

• 平均適合率の平均値 (mAP) – すべてのラベルの平均適合率を示す統計情報

• すべてのラベルにわたり、ラベルごとの平均適合率とトレーニング セットのサイズを示すグラフ

  

[検証] ページでは、タクソノミーから個々のラベルを選択して、パフォーマンスをドリルダウンすることもできます。

ラベルを選択すると、そのラベルの平均適合率のほか、特定の信頼度のしきい値に基づくそのラベルの適合率と再現率を確認できます。しきい値はユーザーが自分で調整可能です。

ラベルの検証の実際の仕組みとその使用方法について詳しくは、「 検証の仕組み」をご覧ください。

一般フィールド

[一般フィールド] タブには次の情報が表示されます。

• トレーニング セットの一般フィールド数 – 検証モデルのトレーニングに使用された、アノテーション済みの一般フィールドの数です。
• テスト セットの一般フィールド数 – 検証モデルの評価に使用された、アノテーション済みの一般フィールドの数です。
• トレーニング セットのメッセージの数 – トレーニング セット内の、アノテーション済みの一般フィールドがあるメッセージの数です。
• テスト セットのメッセージの数 – テスト セット内の、アノテーション済みの一般フィールドがあるメッセージの数です。
• 平均適合率 - すべての一般フィールドの平均適合率のスコアです。
• 平均再現率 - すべての一般フィールドの 再現率 スコアの平均値です。
• 平均 F1 スコア - すべての一般フィールドの平均 F1 スコアです。F1 スコアは適合率と再現率の調和平均であり、これらが均等に重み付けされます。
• 同じ統計情報ですが、各一般フィールドが個別に対象になります。

一般フィールドの検証の仕組みとその使用方法について詳しくは、「 一般フィールドを使用する」をご覧ください。