検証

[検証] ページには、モデルのパフォーマンスに関する詳細情報が、ラベルと一般フィールドの両方について表示されます。

[ラベル] タブでは、ラベルの全体的なモデルの評価を確認できます。これには、評価を構成する要因の詳細な内訳、データセットの他のメトリック、個々のラベルのパフォーマンスが含まれます。

[一般フィールド] タブでは、データセットで有効化されているすべての一般フィールドについて、一般フィールドの予測のパフォーマンスに関する統計情報を確認できます。

[ラベル] の既定の検証ページ

モデルの評価の上にある [モデルバージョン] ドロップダウンには、特定のデータセットの過去のモデルバージョン全体の検証スコアが表示されます。また、個々のモデルバージョンに優先順位を付けたり「スター」を付けたりして、今後、リストの一番上に表示することもできます。このツールは、モデルを強化する際に進行状況を追跡および比較するのに役立ちます。

[モデルバージョン] ドロップダウン

ラベル

[要因] タブ (上図を参照) には次の情報が表示されます。

モデルの評価に寄与する 4 つの重要な要因: バランス、カバレッジ、ラベルの平均パフォーマンス、およびパフォーマンスが最も低いラベルのパフォーマンス
各要因のスコアと、その要因のスコアの寄与している要因の内訳
各要因のスコアを改善するための、クリック可能な推奨される次の操作

[メトリック] タブ (下図を参照) には、次の情報が表示されます。

トレーニングセットのサイズ – モデルのトレーニングに使用されたメッセージの数
テストセットのサイズ (つまり、モデルが評価されたメッセージの数)
ラベル数 – タクソノミー内のラベルの総数
平均適合率と再現率 – すべてのラベルの、特定の再現率値での平均適合率を示すグラフ
平均適合率の平均値 (mAP) – すべてのラベルの平均適合率を示す統計情報
すべてのラベルにわたり、ラベルごとの平均適合率とトレーニングセットのサイズを示すグラフ

[ラベル] の検証内の [メトリック] タブ

[検証] ページでは、タクソノミーから個々のラベルを選択して、パフォーマンスをドリルダウンすることもできます。

ラベルを選択すると、そのラベルの平均適合率のほか、特定の信頼度のしきい値 (ユーザーが自分で調整可能) に基づくそのラベルの適合率と再現率を確認できます。

特定の検証グラフをラベル付けする

ラベルの検証の実際の動作と使用方法について詳しくは、こちらをご覧ください。

一般フィールド

一般フィールドの [検証] ページ

[一般フィールド] タブ (上図を参照) には次の情報が表示されます。

トレーニングセットの一般フィールド数 – 検証モデルのトレーニングに使用された、アノテーション済みの一般フィールドの数です。
テストセットの一般フィールド数 – 検証モデルの評価に使用された、アノテーション済みの一般フィールドの数
トレーニングセットのメッセージの数 – トレーニングセット内の、アノテーション済みの一般フィールドがあるメッセージの数です。
テストセットのメッセージの数 – テストセット内の、アノテーション済みの一般フィールドがあるメッセージの数です。
平均適合率 - すべての一般フィールドの平均適合率のスコアです。
平均再現率 - すべての一般フィールドの再現率スコアの平均値です。
平均 F1 スコア - すべての一般フィールドの平均 F1 スコアです (F1 スコアは適合率と再現率の調和平均であり、これらが均等に重み付けされます)。
同じ統計情報ですが、各一般フィールドが個別に対象になります。