Communications Mining

エンティティのパフォーマンスを改善する

必要なユーザー権限: 「確認とラベル付け」

概要

ラベルのトレーニングと同様に、エンティティのトレーニングも、さまざまなトレーニングモードを使用して、どのエンティティが特定のメッセージに適用されるかをプラットフォームに教えるプロセスです。

ラベルと同様に、「教える」「確認」「見逃し」のモードを利用して、エンティティのトレーニングとパフォーマンスを改善できます。各モードにアクセスするには、1) [探索] ページのトレーニングのドロップダウンを使用するか、2) [検証] ページの [エンティティ] タブの推奨されるアクションに従います。

エンティティのトレーニングモードが含まれる、[探索] のドロップダウンメニュー

エンティティの推奨されるアクション

特定のエンティティにパフォーマンス警告が付いている場合、その警告に対処するのに役立つと思われる推奨される次の操作が優先度順に表示されます。これは、タクソノミーまたは [すべてのエンティティ] グラフから特定のエンティティを選択すると表示されます。

次に行うべき操作の提案はリンクとして機能します。このリンクをクリックすると、プラットフォームによって提案されたトレーニングビューに直接移動し、エンティティのパフォーマンスを向上させることができます。提案はインテリジェントに並べられており、エンティティを改善する上で最も優先度の高い操作が最初に表示されています。

提案は、エンティティのパフォーマンスを理解するのに役立つ最も重要なツールであり、エンティティのパフォーマンスを改善する際にガイドとして定期的に使用することをお勧めします。

推奨事項が表示されているエンティティカードの例

エンティティのトレーニングモード

次の表は、どのような場合にエンティティの各トレーニングモードが推奨されるかをまとめたものです。

エンティティを教える	エンティティを確認	見逃されたエンティティ
- ラベルが適用されるかどうかについてモデルが最も混乱しているラベルの予測を表示する場合 - 未確認のメッセージでエンティティをトレーニングする場合	- エンティティが誤って適用されている可能性があると考えられるメッセージを表示する場合 - 確認済みのメッセージでエンティティをトレーニングし、不一致を見つけて修正を試みる場合	- 選択したエンティティが見逃されている可能性があると考えられるメッセージを表示する場合 - 確認済みのメッセージでエンティティをトレーニングし、不一致を見つけて修正を試みる場合

「エンティティを教える」を使用する

「エンティティを教える」を使用して、エンティティのパフォーマンスを改善します。既に信頼度の高い予測があるモデルではなく、モデルが確信を持って判断できないメッセージに関する新しい情報がモデルに提供されるためです。

次のような場合に「エンティティを教える」が推奨されます。

エンティティの横にパフォーマンス警告が表示されている (以下を参照 – 少なくとも 25 個の例が提供されていない場合)
特定のエンティティの F1 スコアが低い
エンティティのテキスト内に必ずしも明確なコンテキストがあるとは限らないか、特定の種類のエンティティの値に多数のバリエーションがある

「エンティティを教える」モードでのエンティティのトレーニング例
docs image

「エンティティを確認」を使用する

「エンティティを確認」を使用すると、確認済みのセット内の不整合を特定するのに役立つと同時に、予測を行うための一貫性のある正しい例がモデルに提供されていることを確認することで、エンティティに対するモデルの理解を改善するのに役立ちます。これにより、エンティティの再現率が向上します。

次のような場合に「エンティティを確認」が推奨されます。

再現率は低いが、適合率が高い
予測は非常に正確であるが、エンティティが適用されている多くの箇所で、これらの例が捉えられていない

「エンティティを確認」モードでのエンティティのトレーニング例

(エンティティの検証の計算について詳しくは、こちらをご覧ください)

「見逃されたエンティティ」を使用する

「見逃されたエンティティ」を使用すると、確認済みのセット内で、選択されたエンティティがあるべきなのに存在しない例を見つけるのに役立ちます。また、モデルがエンティティを予測する能力に悪影響を与える可能性のある、部分的にラベル付けされたメッセージを特定するのにも役立ちます。これにより、エンティティの適合率が向上し、予測を行うための一貫性のある正しい例がモデルに提供されます。

次のような場合に「見逃されたエンティティ」が推奨されます。