運用中のモデルを保守する

モデルの保守が重要な理由

運用環境へのデプロイに適したモデルを作成するには、時間の投資が必要です。投資した時間は、継続的な分析と自動化による効率の向上から得られる価値によってすばやく回収できます。

モデルを長期にわたって効果的に保守しなければ、モデルが提供するメリットが徐々に損なわれる可能性があります。少量の補助的なトレーニングを行わないとモデルのパフォーマンスが低下する可能性があるためです。

この原因は「概念ドリフト」です。概念ドリフトとは、モデルが予測しようとしている概念が時間とともに予期しない形で変化し、予測の精度が次第に低下していく状況を指します。

これは基本的に、企業内の環境が時間とともにどのように変化するかと、その変化を社内、他の企業、その顧客にどのような方法で伝えるかに関係します。モデルのトレーニング データが企業の現在の運営方法を反映しなくなっている場合に、コミュニケーション データ内の概念を識別しようとすると、モデルのパフォーマンスが低下します。

したがって、運用環境で使用しているモデルを効果的に管理・保守し、継続的に高いパフォーマンスを発揮できるようにすることが重要です。

運用中のモデルの保守方法

運用モデルの保守プロセスは、簡単で手間もかかりません。必要な作業の大部分は、モデルをデプロイする前にモデルのトレーニング データを作成するために実行済みです。

モデルを保守するには主に 2 つのアプローチがあり、どちらのアプローチでも、有用で代表的なトレーニング例が確実にモデルに提供されます。

1. 例外のトレーニング
2. 「リバランス」モードを使用する

1. 例外のトレーニング

自動化の目的で使用するモデルには例外プロセスが必要です。例外プロセスにより、どのメッセージが、プラットフォームが確信を持ってまたは正しく識別できなかった例外であるかを識別されます (詳しくは、こちらをご覧ください)。

例外のトレーニングが重要である理由は、プラットフォームが予測しづらかったメッセージを素早く見つけてアノテーションすることで、モデルが今後、類似するメッセージを予測する能力を改善できるためです。

通常、オートメーション プロセスは、メッセージを例外として識別するユーザー プロパティでメッセージに自動的にフラグを付けるように設定します。その後、[探索] でフィルターを適用してそのメッセージに絞り込んで正しいラベルでアノテーションすることにより、プラットフォームが今後、類似するメッセージを確実かつ正確に識別できるようにします。

例外のトレーニングを定期的なプロセスに組み入れて、絶えずモデルの改善を図る必要があります。キャプチャしてアノテーションする例外が多いほど、モデルのパフォーマンスは時間とともに向上します。これによって今後の例外の数が最小化され、自動化に重点を置いたモデルで実現される効率の向上が最大化されます。

2. バランスおよび「リバランス」モードを使用する

モデルの「バランス」の評価は、モデルの評価の一要素です。これは、モデルのトレーニング データがデータセット全体とどの程度類似しているか (どの程度代表的であるか) を反映します。

理論的には、時間とともにデータセットに追加される最新のデータが、モデルのトレーニングに使用した古いデータと大幅に異なっている場合、モデルのバランスの評価を決定する類似性スコアが低下します。

例外のトレーニングを実行するときは、モデルの類似性スコアが低下するかどうかを確認することが重要です。低下する場合は対処が必要です。概念ドリフトの兆候と考えられ、最終的には運用時のパフォーマンスが低下することを意味するためです。

類似性スコアの低下を修正する最も簡単な方法は、「リバランス」モードを使用してトレーニングを実行することです。

現在受け取っているコミュニケーションの種類を代表する最新データでトレーニングできるようにするため、「リバランス」でのトレーニング中にタイムスタンプ フィルターを追加し、過去 3 か月または 6 か月間に絞り込むこともできます。これにより、モデルが、ビジネスの変化を反映していない可能性がある古いトレーニング データだけに依存しないようにします。