モデルの検証が重要な理由

Communications Mining™ は、コミュニケーション チャネルに隠れたプロセスを検出、測定、自動化できる、会話型データ インテリジェンス プラットフォームです。

一般的なチャネルには、電子メール、チケット、チャット、通話が含まれます。 これらのドメインでの会話は複雑で微妙です。 その結果、汎用機械学習モデルのパフォーマンスが低下します。 代わりに、Communications Mining を使用すると、誰でも少ない労力でカスタム モデルを作成できます。 技術的な知識は必要ありません。

これは非常に強力なアプローチです。モデルは、人間と同じように複雑なパターンを学習し、目に見えないデータに対して予測を行うことができます。機械学習モデルは、一部の 自然言語タスクで人間を凌駕することさえあります。

しかし、人間のように、機械学習モデルも間違いを犯す可能性があります。 モデルが間違っている頻度を見積もることは、機械学習の実際のアプリケーションにとって非常に重要です。 同様に重要なのは、これを直感的に提示し、モデルを改善するための最良のアクションを強調することです。 Communications Mining では、モデルの検証を使用してこれらすべてのタスクを実行します。

モデルを検証する方法

モデルの構築中に、ユーザーは関心のあるトピックのラベルを作成し、適用されるトピックに例にタグを付けます。その後、マシン ラーニング モデルをトレーニングして、これらの例の正しいラベルが予測されます。

このモデルを検証するために、その予測を人間の注釈と比較し、間違いを探します。 多くの例で予測を手作業で比較することは困難です。 代わりに、モデルがどの程度うまく機能しているかを要約した検証スコアを計算します。 トレーニング済みのモデルでこれを行うには、注釈とスコアの 2 つが必要です。

注釈

予測が正しいかどうかを確認するには、各例に適切な注釈を知る必要があります。 つまり、ユーザーが注釈を付けたデータポイントが必要です。

すでにアノテーションを使用してモデルをトレーニングしており、検証中にこれらを再利用できます。しかし、人間がテストを受けるのと同じように、機械学習モデルのパフォーマンスは、以前に遭遇したことのある例の方が優れています。

トレーニングされたデータを使用してモデルをスコアリングすると、モデルの品質が過大評価される可能性があります。 これにより、モデルがどの程度うまく機能するかについて誤解を招く可能性があります (オーバーフィットと呼ばれます)。 このため、モデルのトレーニングと検証にはさまざまなデータ ポイントを使用します。

標準的なアプローチは、注釈のセットをランダムに2つの等しくない部分に分割することです

• トレーニング セット。モデルのトレーニングに使用される一連の例。これは通常、アノテーションが行われたデータ全体の 80% など、より大きな割合です
• テスト セット。モデルのパフォーマンスの測定に使用される例の残りの部分 (20%) です。
  ヒント:

  機械学習の資料では、データがトレーニング、検証、テストの 3 つのセクションに分かれていることに気付いたかもしれません。検証セットはモデルのチューニングに使用され、テスト セットは最終モデルで一度評価されてパフォーマンスが測定されます。Communications Mining では、トレーニング セットに対して K 分割交差検証 を使用してモデルを調整します。「検証」スコアは、最終モデルのテスト セットに対して計算されます。つまり、ML 資料におけるテストのパフォーマンスと同等です。

同じソースから取得されるため、テスト セットはトレーニング セットと似ています。テスト セットのパフォーマンスを確認するときに、モデルが新しいメールを表示する様子をシミュレートしますが、実際のラベルと比較することでモデルの品質を把握できます。

スコア

モデルのパフォーマンスを数値として要約するには、スコアリング関数が必要です。 この関数は、モデルの予測と人間の注釈を比較し、数値を出力します。

スコアリング関数の選択は難しいプロセスです。 関数は、優れたモデルのアイデアと一致する必要があり、スコアを不正確にする可能性のある一般的な落とし穴を考慮する必要があります。

Communications Mining™ では、スコアリング関数に平均適合率の平均値を使用しています。これは、複数のラベルとユース ケースにわたってモデルのパフォーマンスを測定する確実な方法です。詳しくは、 メトリクスに関するブログ記事をご覧ください。

Communications Mining で検証する™

これら 2 つのコンポーネントを使用すると、検証が簡単になります。 必要なのは、テスト セットのモデル予測を取得し、スコアを使用してモデルのパフォーマンスを測定することだけです。 Communications Mining で新しいモデルをトレーニングするたびに、検証プロセスが自動的にバックグラウンドで実行され、結果が [検証] ページに報告されます。

実際、新しいモデルをトレーニングするたびに、実際には舞台裏で 2 つのモデルをトレーニングしています

• 検証モデル。これをトレーニング セットでトレーニングし、テスト セットでテストしてパフォーマンスを測定します。
• 製品モデル。これは、アノテーション済みのすべての例 (トレーニング セットとテスト セット) でトレーニングされ、ライブ データで予測を行うために使用されます。このモデルは、より多くのデータでトレーニングされるため検証モデルとは異なる場合がありますが、どちらのモデルも多くのトレーニング例を共有しているため、違いはごくわずかです。したがって、検証モデルのパフォーマンスは、運用モデルのパフォーマンスを適切に推定できます。

このアプローチでは、下流のアプリケーションに使用されるモデルは、可能な限り多くのデータを参照しています。

検証モデルはトレーニング セットでトレーニングされ、テスト セットでテストされますが、運用モデルはすべての注釈付きデータでトレーニングされます

検証に関心を持つべき理由

検証は、効果的な機械学習モデルを開発する上で重要な部分であり、ユーザーに多くの利点を提供します。 確信が持てない場合は、ここにあなたが気にすべき3つの主な理由があります。

既知の未知数

検証は、モデルのパフォーマンスを示しますが、モデルが苦労する可能性のある状況も強調表示します。 これらの状況は、さまざまな理由で表面化する可能性があります。ライブデータの傾向の変化から、ユーザーやチーム間で一貫性のない注釈付けまで。 モデルの検証は、問題が発生したときに把握し、迅速に修正できるように解釈可能であることが重要です。

検証を使用すると、モデルが不明なデータ ポイントを検査できます。 その後、この領域でモデルを改善したり、下流工程にロバスト性を組み込んだりすることができます。 これは、モデルが望むとおりに実行していることを確信でき、厄介な驚きがないことを意味します。

検証ページでは、モデルを検査し、下流工程を調整できます

経験不問

モデルをトレーニングする場合、診断が困難な場合が多い危険があります。 ありがたいことに、私たちの検証プロセスは、優れたモデルを構築するためにデータサイエンティストである必要がないことを意味します。

モデルを検証するときに返されるスコアは 1 つだけではありません。代わりに、 モデルの評価を計算します。これには、モデルの検証スコアだけでなく、未確認のデータのパターンやアノテーションされた例の偏りなどの要因も含まれます。

モデル評価は、パフォーマンスに関する詳細なフィードバックと、改善方法に関する明確な指示を提供します。 ユーザーは、開発チームやAIの専門家と協力することなく、ドメイン知識を活用して問題を解決することに集中できます。 Communications Mining は、モデル開発のすべてのステップを順を追って説明します。

モデル評価は、詳細なパフォーマンス情報とモデルを改善するための推奨アクションを提供します

より迅速なフィードバック、より優れたモデル

ほとんどの機械学習モデルは更新頻度が低く、デプロイ前に 1 回検証されます。Communications Mining™ では、異なるアプローチを採用しています。

更新の間に長い時間待つ代わりに、新しいモデルを継続的にトレーニングして検証します。 つまり、モデルは常にデータの現在のステートに適用可能であり、検証結果は最新の状態です。

迅速なフィードバックにより、モデルの反復時間が最小限に抑えられます。 パフォーマンスの低下はできるだけ早く修正でき、ユーザーは古いフィードバックに対処するために時間を無駄にすることはありません。 Communications Miningのアジャイル検証プロセスにより、ユーザーは高品質のモデルを短時間で構築できます。

概要

• 検証は、モデルをスコアリングし、未知のデータに対する良好なパフォーマンスを保証するために使用されます。
• モデルは、パフォーマンスを正確に推定し、過学習を回避するために、目に見えないデータでスコアリングされます。
• モデル評価を使用して詳細なフィードバックを提供するため、問題を迅速に修正し、モデルが本来あるべきとおりに動作していることを確信できます。