適合率と再現率の説明

適合率と再現率は、マシン ラーニング モデルのパフォーマンスを測定するための基本的なメトリックであり、独自のモデルのパフォーマンスを評価する前に、トレーニング モデルがこのメトリックを理解することが重要です。

では、これらの指標はどういう意味でしょうか。

適合率は、実際に正しかったすべての予測の割合です。

再現率は、特定された、考えられるすべての真陽性の割合です。

以下は、適合率と再現率がどのように機能するかについて、現実の例を使って説明します。

例 1 – シナリオ 1

電子パスポートを持っているなら、入国する際の出入国管理の電子ゲート (e ゲート) はよく知っているでしょう。電子ゲートには画像認識カメラが搭載されています。その目的は、顔を分析し、それがデジタルバージョンのパスポートと一致するかどうかを確認することです。本質的に、電子ゲートが解決しようとしているのは分類の問題です。すなわち、この人物が申告どおりの人物であるかどうかという問題です。

ある空港がこの電子ゲートの導入を決めたとします。ただし、カメラがどの程度効果的に人の顔をそのパスポート画像と照合できるかを確認した上で、一般の入国者に電子ゲートを使用してもらおうと考えています。この例では、パスポートの画像と一致する顔の識別 (または予測) のみを行うカメラを使用することを目的としています。このカメラにより、できるだけ多くの人を通過させながら、他人のパスポートや画像が一致しない偽造パスポートを使用している可能性がある人物をすべて捕らえたいと考えています。

適合率

適合率では、カメラがどの程度正確に、正しい人物にゲートの通過を許可したかを測定します。基本的には、カメラが通過を許可した人物すべての中で、一致するパスポートを持っていたのはどのくらいの割合かを測定します。

最初のテストでは、100 人が新しいカメラを使用します。その結果から、70 人は通過しますが、30 人は拒否されて従来の有人デスクに行く必要があることが分かります。

通過した 70 人のうち、実際には通過を許可してはならなかった人物が 4 人いたことが判明します (間違ったパスポートを所持していたことは前もって分かっています)。適合率を計算するには、次のようにします。

適合率 = 正しく識別された人数 / 通過した総人数 (正解と不正解) = 66/(66+4) = 94%

再現率

しかし、ここで小さな問題が 1 つあります。正しいパスポートを持っている人は実際には合計 95 人で、そのうち正しく通過したのは 66 人 (前述) だけであったとします。つまり、29 人 (95 － 66) が誤って拒否され、人間に対応してもらうために列に並ばなければなりませんでした。どうすれば、通過させるべき人物をすべて正しく識別する処理を向上できるでしょうか。

ここでもう 1 つの指標である再現率の出番です。再現率では、カメラが正しい人物として識別して通過させる必要があったすべての人々のうち、カメラが捉えた人数を測定します。この例では、正しいパスポートを持っていた 95 人のうち 66 人だけが通過したことがわかっているため、再現率は次のように計算されます。

再現率 = 識別された正しいパスポートの数 / 正しいパスポートを持っている人の総数= 66/95 = 69%

例 1 - シナリオ 2

別のシナリオを使って、適合率と再現率がどのように変化するかを説明しましょう。同じ設定を使用しますが、今回はカメラがより多様な画像でトレーニングされており、これによってカメラがどの程度改善されるかをテストしたいと思います。

シナリオ 1 と同様に、また同じ 100 人がパスポート ゲートを通過し、そのうち 95 人が正しいパスポートを持っています。

しかし今回は、85 人が通過を許可され、15 人が拒否されて従来の有人デスクに向かわなければなりませんでした。ゲートを通過した 85 人のうち、82 人が正しく通過を許可され、3 人は間違ったパスポートを所持していたため、通過を許可すべきではありませんでした。

ここでの適合率は= 82/(82 + 3)= 96%です。

では、再現率にどう影響したかを見てみましょう。

再現率 = 82/95 = 86%

このシナリオでは、適合率のスコアは類似していますが、再現率は大幅に向上しています。つまり、予測は今までどおり正確でありながら (94% 対 96%)、正しいパスポートを持っているので通過を許可すべきだったケースをより多く識別できました (69% 対 86%)。ここから、追加のトレーニングにより、シナリオ 1 と比較してカメラの再現率が大幅に改善されたことが分かります。

例 2

別の簡単な例を挙げて、同じ指標が状況によってどのように異なるかを説明します。

火災報知器は、火災発生時に検出するように設計されています。ある意味では、火災報知器は、いつ火災が発生するかを予測する必要がありますが、間違って誤警報を出す場合もあります。この状況でより重要なのは、火災発生時に 100% 検出することです。火災発生時に検出される限り、異常な誤警報は容認できます。この例では、再現率が高く、すべての火災を確実に検出することのほうが重要です。

1 年に 10 件の火災が検出され、そのうちの 1 件だけが本物であるとしましょう。報知器/検出器は火災を 10 回予測し、1 回は正しく、9 回は間違っていました。この場合、適合率はわずか 10% (1/10) ですが、再現率は 100% (1/1) でした。発生したすべての火災のうち、火災報知器はすべてを検出しました。そのため、適合率が低く誤警報が多かった一方で、再現率は完璧であり、火災が発生した 1 回を捉えました。

適合率または再現率のどちらのほうが重要か

その質問の正解は 2 つあります。

• 両方
• 状況による

上記の例は、2 つのメトリック間のトレードオフと、各メトリックが使用状況に応じてどのように重要になるかを示しています。

火災報知器を例にとると、火災のケースをすべて検知することのほうが重要です。すべてを検知しなければ危険な結果を招くからです。火災が発生して感知器が機能しなければ、死者が発生するおそれがあります。このようなシナリオでは、誤警報が発生しようとも、高い再現率が得られるように最適化し、すべてのケースを確実に特定する必要があります。

対照的に、パスポート ゲートの例では、パスポートの画像がカメラが検出した画像と一致する人物のみにゲートの通過を許可することのほうが重要です。偽造パスポートや間違ったパスポートを所持していた人物を通過させるべきではありません。この例の場合は、高い適合率が得られるように最適化する必要があり、通過すべきであった人物がデスクに送られて人間による審査を受けることになってもかまいません。この場合、再現率は低くなりますが、適合率 (ここではより重要) は高くなります。