運用中のモデルを保守する

モデルのメンテナンスの重要性

運用環境へのデプロイに適したモデルを作成するには、時間の投資が必要です。投資した時間は、継続的な分析と自動化による効率の向上から得られる価値によって素早く回収できます。

モデルを長期にわたって効果的に保守しないと、定期的な補助的なトレーニングを行わないとモデルのパフォーマンスが低下するため、モデルのパフォーマンスが低下する可能性があり、そのメリットが損なわれる可能性があります。

この原因は概念ドリフトです。概念ドリフトとは、モデルが予測しようとしている概念が時間とともに予期しない形で変化し、予測の精度が次第に低下していく状況を指します。

これは基本的に、企業内の環境が時間とともにどのように変化するかと、その変化を社内、他の企業、その顧客にどのような方法で伝えるかに関係します。モデルのトレーニング データが企業の現在の運営方法を反映しなくなっている場合に、コミュニケーション データ内の概念を識別しようとすると、モデルのパフォーマンスが低下します。

手記： 運用環境で使用されているすべてのモデルを効果的に管理し、継続的に高いパフォーマンスを発揮できるようにしてください。

運用中のモデルを保守する

運用モデルの保守プロセスは、簡単で手間もかかりません。必要な作業の大部分は、モデルをデプロイする前にモデルのトレーニング データを作成するために実行済みです。

モデルを保守するには主に 2 つのアプローチがあり、どちらのアプローチでも、有用で代表的なトレーニング例が確実にモデルに提供されます。

1. 例外のトレーニング
2. リバランス モードを使用する

1. 例外のトレーニング

自動化の目的で使用するモデルには例外プロセスが必要です。例外プロセスにより、どのメッセージが、プラットフォームが確信を持ってまたは正しく識別できなかった例外であるかを識別されます。詳しくは、「リアルタイムの自動化」をご覧ください。

例外のトレーニングが重要である理由は、プラットフォームが予測しづらかったメッセージを素早く見つけてアノテーションすることで、モデルが今後、類似するメッセージを予測する能力を改善できるためです。

オートメーション プロセスは、メッセージを例外として識別するユーザー プロパティでメッセージに自動的にフラグを付けるように設定します。その後、[探索] でフィルターを適用してそのメッセージに絞り込んで正しいラベルでアノテーションを行うことにより、プラットフォームが今後、類似するメッセージを確実かつ正確に識別できるようにします。

例外のトレーニングを定期的なプロセスに組み入れて、絶えずモデルの改善を図る必要があります。キャプチャしてアノテーションする例外が多いほど、モデルのパフォーマンスは時間とともに向上します。これによって今後の例外の数が最小化され、自動化に重点を置いたモデルで実現される効率の向上が最大化されます。

2. バランスおよびリバランス モードを使用する

モデル のバランス の評価は、 モデルの評価の一要素です。これは、モデルのtainingデータがデータセット全体とどの程度類似しているか、つまりどの程度代表しているかを反映しています。

理論的には、時間とともにデータセットに追加される最新のデータが、モデルのトレーニングに使用した古いデータと大幅に異なっている場合、モデルのバランスの評価を決定する類似性スコアが低下します。

例外のトレーニングを実行するときは、モデルの類似性スコアが低下するかどうかを確認することが重要です。低下する場合は対処が必要です。概念ドリフトの兆候と考えられ、最終的には運用時のパフォーマンスが低下することを意味するためです。

類似性スコアの低下を修正する最も簡単な方法は、リバランス モードを使用してトレーニングを実行することです。

現在受け取っているコミュニケーションの種類を代表する最新データでトレーニングできるようにするため、リバランスでのトレーニング中にタイムスタンプ フィルターを追加し、過去 3 か月または 6 か月間に絞り込むこともできます。これにより、モデルが、ビジネスの変化を反映していない可能性がある古いトレーニング データだけに依存しないようにします。