適合率と再現率の説明

Automation Cloud の Communications Mining でマシン ラーニング モデルのパフォーマンスを測定するために使用される適合率と再現率のメトリック。

適合率 と 再現率は 、マシン ラーニング モデルのパフォーマンスを測定するための基本的なメトリックです。モデルをトレーニングする場合は、モデルのパフォーマンスを評価する前に、メトリックについて理解しておいてください。

• 適合率は、実際に正しかったすべての予測の割合です。
• 再現率は、プラットフォームによって特定された、考えられるすべての真陽性の割合です。

例

このセクションでは、適合率と再現率がどのように機能するかについて、現実の例を使って説明します。

例 1 – シナリオ 1

電子パスポートを持っているなら、入国する際の出入国管理の電子ゲート (e ゲート) はよく知っているでしょう。電子ゲートには画像認識カメラが搭載されています。その目的は、顔を分析し、それがデジタルバージョンのパスポートと一致するかどうかを確認することです。本質的に、電子ゲートが解決しようとしているのは分類の問題です。すなわち、この人物が申告どおりの人物であるかどうかという問題です。

Let’s say an airport decides it wants to implement these electronic gates. However, they want to check how effective the cameras are at matching peoples’ faces to passport images before they let the public use them.

この例では、パスポートの画像と一致する顔の識別 (または予測) のみを行うカメラを使用することを目的としています。このカメラにより、できるだけ多くの人を通過させながら、他人のパスポートや画像が一致しない偽造パスポートを使用している可能性がある人物をすべて捕らえたいと考えています。

適合率

適合率では、カメラがどの程度正確に、正しい人物にゲートの通過を許可したかを測定します。基本的には、カメラが通過を許可した人物すべての中で、一致するパスポートを持っていたのはどのくらいの割合かを測定します。

In the first test you get 100 people to use the new camera. The results show the camera let 70 people through and rejected 30, who then have to go to the traditional desks manned by people.

通過した 70 人のうち、実際には通過を許可してはならなかった人物が 4 人いたことが判明します (間違ったパスポートを所持していたことは前もって分かっています)。適合率を計算するには、次のようにします。

適合率 = 正しく識別された人数 / 通過した総人数 (正解と不正解) = 66/(66+4) = 94%

再現率

しかし、ここで小さな問題が 1 つあります。正しいパスポートを持っている人は実際には合計 95 人で、そのうち正しく通過したのは 66 人 (前述) だけであったとします。つまり、29 人 (95 － 66) が誤って拒否され、人間に対応してもらうために列に並ばなければなりませんでした。どうすれば、通過させるべき人物をすべて正しく識別する処理を向上できるでしょうか。

ここでもう 1 つの指標である再現率の出番です。再現率では、カメラが正しい人物として識別して通過させる必要があったすべての人々のうち、カメラが捉えた人数を測定します。この例では、正しいパスポートを持っていた 95 人のうち 66 人だけが通過したことがわかっているため、再現率は次のように計算されます。

再現率 = 識別された正しいパスポートの数 / 正しいパスポートを持っている人の総数= 66/95 = 69%

例 1 - シナリオ 2

別のシナリオを使って、適合率と再現率がどのように変化するかを説明しましょう。同じ設定を使用しますが、今回はカメラがより多様な画像でトレーニングされており、これによってカメラがどの程度改善されるかをテストしたいと思います。

シナリオ 1 と同様に、また同じ 100 人がパスポート ゲートを通過し、そのうち 95 人が正しいパスポートを持っています。

しかし今回は、85 人が通過を許可され、15 人が拒否されて従来の有人デスクに向かわなければなりませんでした。ゲートを通過した 85 人のうち、82 人が正しく通過を許可され、3 人は間違ったパスポートを所持していたため、通過を許可すべきではありませんでした。

この場合の適合率は 82/(82 + 3) = 96%です。

再現率 = 82/95 = 86%

このシナリオでは、適合率のスコアは類似していますが、再現率は大幅に向上しています。つまり、予測は今までどおり正確でありながら (94% 対 96%)、正しいパスポートを持っているので通過を許可すべきだったケースをより多く識別できました (69% 対 86%)。ここから、追加のトレーニングにより、シナリオ 1 と比較してカメラの再現率が大幅に改善されたことが分かります。

例 2

別の簡単な例を挙げて、同じ指標が状況によってどのように異なるかを説明します。

火災報知器は、火災発生時に検出するように設計されています。ある意味では、火災報知器は、いつ火災が発生するかを予測する必要がありますが、間違って誤警報を出す場合もあります。

この状況でより重要なのは、火災発生時に 100% 検出することです。火災発生時に検出される限り、異常な誤警報は容認できます。この例では、再現率が高く、すべての火災を確実に検出することのほうが重要です。

1 年に 10 件の火災が検出され、そのうちの 1 件だけが本物であるとしましょう。報知器/検出器は火災を 10 回予測し、1 回は正しく、9 回は間違っていました。この場合、適合率はわずか 10% (1/10) ですが、再現率は 100% (1/1) でした。発生したすべての火災のうち、火災報知器はすべてを検出しました。そのため、適合率が低く誤警報が多かった一方で、再現率は完璧であり、火災が発生した 1 回を捉えました。

適合率と再現率を選択する

適合率と再現率のどちらのメトリックを使用するかを決定するときに、ケースに応じて両方を使用できるか、いずれかを選択できることを考慮する必要があります。

前の例は、2 つのメトリック間のトレードオフと、各メトリックが使用状況に応じてどのように重要になるかを示しています。

Taking the fire alarm example, it is more important to pick up all cases of fire, because the consequences of not doing so are dangerous. If a fire broke out and the detector didn’t work, people could die. In these scenarios we would want to optimise for high recall – to make sure all cases were identified, even at the expense of false fire alarms.

対照的に、パスポート ゲートの例では、パスポートの画像がカメラが検出した画像と一致する人物のみにゲートの通過を許可することのほうが重要です。

偽造パスポートや間違ったパスポートを所持していた人物を通過させるべきではありません。この例の場合は、高い適合率が得られるように最適化する必要があり、通過すべきであった人物がデスクに送られて人間による審査を受けることになってもかまいません。この場合、再現率は低くなりますが、適合率 (ここではより重要) は高くなります。