Communications Mining

エンティティの検証

はじめに

プラットフォームの [検証] ページには、有効化されているエンティティの検証の統計情報、警告、および推奨されるアクションが表示されます。これはタクソノミー内のすべてのラベルの場合と同様です。

これらを確認するには、次の図に示すように、[検証] ページに移動して上部の [エンティティ] タブを選択します。

エンティティの検証ページへのアクセス方法

エンティティの検証の仕組み

エンティティを正しく予測する能力をプラットフォームが検証するプロセスは、ラベルの場合と非常によく似ています。

メッセージを初めてデータセットに追加すると、トレーニングセットとテストセット (各メッセージのメッセージ ID でランダムに決定) に分割されます (80 対 20)。割り当てられたエンティティ (承認または修正された予測) は、そのエンティティが含まれるメッセージが最初にトレーニングセットまたはテストセットのどちらに割り当てられていたかに基づいて、どちらかのセットに分類されます。

場合によっては、1 件のメッセージに大量のエンティティが存在していて、メッセージがトレーニングセットまたはテストセットのどちらに含まれるかを保証できないため、各セット内のエンティティの数に大きな差が見られることがあります。

割り当てられたエンティティがすべてトレーニングセットに分類されることもあります。検証スコアを計算するには、テストセットに少なくとも 1 つの例が必要であるため、このようなエンティティでは、テストセットに例がいくつか存在するようになるまで、割り当てられた例を追加する必要があります。

スコアの計算方法

十分なトレーニングデータがある各エンティティの個々の適合率と再現率の統計情報は、ラベルの統計情報と非常によく似た方法で計算されます。

適合率 = 一致するエンティティの数 / 予測されたエンティティの数

再現率 = 一致するエンティティの数 / 実際のエンティティの数

「一致するエンティティ」とは、プラットフォームがエンティティを正確に予測した (部分一致のない) 場所です。

F1 スコアは、単に適合率と再現率の両方の調和平均です。

トレーニング可能なエンティティ

このページに示す適合率と再現率の統計情報は、プラットフォームで常時トレーニング可能なエンティティ (上の 2 番目の段で説明) で最も役に立ちます。これらのエンティティの種類について確認されたすべてのエンティティは、プラットフォームがそのエンティティを予測する機能に直接影響するためです。

したがって、可能な限り、正しいエンティティを承認し、誤ったエンティティを修正または却下する必要があります。

事前トレーニング済みのエンティティ

事前トレーニング済みのエンティティの場合、検証の統計情報にパフォーマンスを正確に反映させるには、かなりの量の正しい予測を承認することに加え、誤った予測を確実に修正する必要があります。

誤った予測を修正しただけでは、トレーニングセットとテストセットは、プラットフォームがエンティティの予測に苦労した事例だけでいっぱいになってしまい、プラットフォームがより適切に予測できる事例は提供されず不自然です。このようなエンティティの間違った予測を修正してもエンティティはリアルタイムに更新されないため (定期的にオフラインで更新されます)、検証の統計情報がしばらくの間変わらず、不自然に低くなる可能性があります。

正しい予測を大量に承認しても必ずしも便利であるとは限りません。このようなエンティティは多くの場合、正しく予測されるためです。ただし、エンティティの予測の大部分が正しい場合は、[検証] ページの適合率と再現率の統計情報について心配する必要はないと考えられます。

統計情報の概要の意味

統計情報の概要 (平均適合率、平均再現率、平均 F1 スコア) とは、単に個々のエンティティスコアそれぞれの平均値です。

ラベルの場合と同様に、十分なトレーニングデータがあるエンティティのみが平均スコアに含まれます。十分なトレーニングデータがなく、スコアに含めることができないエンティティには、名前の横に警告アイコンが表示されます。

注: 統計情報の概要には、十分なトレーニングデータがあるすべてのエンティティ (常時トレーニング可能なエンティティと事前トレーニング済みのエンティティの両方) が組み込まれます。事前トレーニング済みのエンティティの予測は、多くの場合、誤っているときに修正されるだけで、正しいときに常に承認されるとは限りません。つまり、その適合率と再現率の統計情報は不自然に低いことが多く、そのため平均スコアが低下します。

メトリック

[エンティティの検証] ページには、エンティティの平均パフォーマンスの統計情報、および各エンティティの平均 F1 スコアとトレーニングセットのサイズを示すグラフが表示されます。また、このグラフでは、琥珀色または赤色のパフォーマンス警告があるラベルにフラグが付けられています。

エンティティの検証ページ

表示されるエンティティのパフォーマンスの統計情報は次のとおりです。

平均 F1 スコア: パフォーマンスを正確に推測するのに十分なデータがあるすべてのエンティティの F1 スコアの平均値です。このスコアでは、再現率と適合率が均等に重み付けされています。F1 スコアが高いモデルでは偽陽性と偽陰性が少なくなります。
平均適合率: パフォーマンスを正確に推定するのに十分なデータを含むすべてのエンティティの適合率スコアの平均値です。適合率の高いモデルでは偽陽性が少なくなります。
平均再現率: パフォーマンスを正確に推定するのに十分なデータを持つすべてのエンティティの再現率スコアの平均値です。再現率の高いモデルでは偽陰性が少なくなります。

エンティティのパフォーマンスを理解する

[検証] ページの [メトリック] タブに表示されるエンティティのパフォーマンスのグラフ (上記を参照) は、個々のエンティティのパフォーマンスを即座に視覚的に示します。

このグラフにエンティティを表示するには、検証中にプラットフォームによって使用されるトレーニングセットに、ピン留めされた例が 20 個以上含まれている必要があります。そのためには、25 件の異なるメッセージで、エンティティ 1 個につき 25 個以上 (多くの場合それ以上) のピン留めされた例があるようにする必要があります。

各エンティティは、エンティティのパフォーマンスについてのモデルの理解に基づいて、3 色のいずれかでプロットされます。色の意味については、以下のセクションで説明します。

エンティティのパフォーマンスインジケーター

エンティティのパフォーマンスインジケーター

グラフに青でプロットされているエンティティは、パフォーマンスレベルが十分なエンティティです。これは、例の数と種類、そのエンティティの平均適合率など、多様な要因に基づいています。

琥珀色でプロットされたエンティティは、十分なパフォーマンスをわずかに下回ります。平均適合率が比較的低いか、トレーニング例が十分でない可能性があります。このようなエンティティは、パフォーマンスを改善するためにトレーニング/修正が少し必要です。

赤でプロットされたエンティティは、パフォーマンスの低いエンティティです。平均適合率が非常に低いか、トレーニング例が十分でない可能性があります。このようなエンティティは、パフォーマンスを十分なレベルに引き上げるために、さらにかなりのトレーニング/修正が必要である可能性があります。

注: 琥珀色と赤色のパフォーマンスインジケーターは、[探索]、[レポート]、および [検証] ページのラベルフィルターバーに表示されます。このインジケーターは、どのラベルを改善する必要があるかに加え、分析機能を使用するときにどのラベルの予測を (改善作業なしでは) 信頼すべきではないかをすばやく知るのに役立ちます。