適合率

適合率では、モデルが行った予測のうち、実際に正しかったものの割合を測定します。つまり、モデルが行ったすべての真の予測のうちの、真陽性の割合です。

適合率 = 真陽性 / (真陽性 + 偽陽性)

たとえば、「情報のリクエスト」というラベルが適用されると予測されているメッセージがデータセット内に全部で 100 件ある場合、適合率とは、「情報のリクエスト」が予測された合計回数のうち、そのラベルが正しく予測された回数の割合です。

95% の適合率とは、特定のラベルを持つと予測されたメッセージが全部で 100 件ある場合、95 件に正しくアノテーションが行われ、5 件に間違ったアノテーションが行われている (つまり、そのラベルにアノテーションが行われるべきではない) ことを意味します。

適合率の仕組みについて詳しくは、こちらをご覧ください。

平均適合率 (AP)

個々のラベルの平均適合率 (AP) のスコアは、そのラベルの再現率の値 (0 から 100%) それぞれにおける、すべての適合率スコアの平均として計算されます。

基本的に、平均適合率では、そのラベルのすべての信頼度しきい値でのモデルのパフォーマンスを測定した値です。

平均適合率の平均値 (mAP)

平均適合率の平均値 (mAP) は、モデルの総合的なパフォーマンスを示す最も有用な指標の 1 つであり、異なるモデル バージョンを相互に簡単に比較できます。

mAP スコアでは、[検証] で使用されるトレーニング セット内に 20 個以上の例が含まれる、タクソノミー内のすべてのラベルの平均適合率スコアの平均値を計算します。

一般的には、mAP スコアが高いほどモデルの総合的なパフォーマンスは良好ですが、モデルの健全性を把握する際に考慮すべき要因はこれだけではありません。モデルに偏りがなく、カバレッジが高いことを確認することも重要です。

平均適合率と再現率

平均適合率と再現率は、モデルの総合的なパフォーマンスを示すもう 1 つのメトリックです。これは、タクソノミー内のすべてのラベルを平均した適合率と再現率の曲線としてグラフィカルに表示されます。

平均適合率と再現率の曲線の例