カバレッジ

Automation Cloud の IXP のカバレッジ メトリックです。[検証] ビューで、有益なラベルがあると予測されたメッセージの割合を測定します。

Coverage is a term frequently used in machine learning (ML), and relates to how well a model covers the data it is used to analyse. In Communications Mining™, this relates to the proportion of messages in the dataset that have informative label predictions, and is presented in the Validation page as a percentage score.

有益なラベル とは、他のラベルと一緒に割り当てられている頻度を調べることで、スタンドアロンのラベルとして有用であるとプラットフォームが理解したラベルのことです。常に別のラベルとともに割り当てられているラベルは、スコアの計算時に重み付けが下げられます。たとえば、単独で割り当てられることのない親ラベルや、常に別のラベルとともに割り当てられている場合の緊急ラベルなどです。

次の図は、データセット全体でカバレッジが低い場合とカバレッジが高い場合にどのような状態になるかを示しています。濃い色の円が有益なラベル予測を持つメッセージであると想像してください。

カバレッジは、データセット内のさまざまな潜在的な概念をすべて捉えているかどうかを理解する場合や、十分に多様なトレーニング例を提供し、プラットフォームがその概念を効果的に予測できるようにしているかどうかを理解する場合に、メトリックとして非常に役に立ちます。

ほとんどの場合、モデルのカバレッジが高いほどパフォーマンスが高くなりますが、モデルのパフォーマンスを確認する際にカバレッジを単独で考慮しないでください。

また、タクソノミーのラベルが健全であること、つまり、平均適合率が高くパフォーマンスに関する警告がほかにないこと、およびトレーニング データがデータセット全体をバランスよく代表していることも非常に重要です。

カバレッジが信頼できない場合

ラベルが異常である場合や、トレーニング データがデータセットを代表していない場合、プラットフォームによって計算されるモデルのカバレッジは信頼できません。

モデルのカバレッジが高いことは、そのモデルを使用して自動化プロセスを推進する場合に特に重要です。

モデルのカバレッジの詳細と、モデルのカバレッジを確認する方法については、「 モデルのパフォーマンスを理解および改善する」をご覧ください。