アクティブ ラーニング: より優れた ML モデルを短時間で実現

アクティブ ラーニングを使用することで、Communications Mining の正確な ML モデルをトレーニングするために必要なデータアノテーションの手間が軽減されます。

機械学習モデルをゼロからトレーニングすることは困難です。 モデル自体の構築がモデルのトレーニングの最も難しい部分であるという誤解はよくあることです。 実際には、データ収集と注釈のプロセスは、人々が想定しているよりもはるかに困難です。

以下のプロセスはすべて時間がかかり、複数のチームと関係者のコラボレーションが必要です。

• モデルが学習する概念を決定する
• データを収集する
• 内容領域専門家 (SME) にアノテーションを行ってもらう
• アノテーションの品質を確保するために、一貫性を確保する

この大幅な時間の浪費は、機械学習から得られるべき価値実現までの時間を遅らせます。さらに、そもそも分析と自動化を通じて ML 主導の価値を使用する際の障壁となることがよくあります。

データアノテーションの認識と実際の難易度の違いにより、時間の制約の誤りにより ML プロジェクトが失敗します。機械学習の使用が旅であるならば、これは地図を持たずに出発し、目的地にたどり着く前に迷子になり、あきらめるようなものです。

このブログ記事では、これらの問題を軽減する方法の 1 つとして、Communications Mining™ プラットフォームの中心となるアクティブ ラーニングについて説明します。

アクティブ ラーニングとは

基本的に、アクティブラーニングは、機械学習モデルのトレーニングに必要なデータ量を減らすことを目的とした一連の方法です。 これは、人間のアノテーターとモデルが協力して作業する反復プロセスです。 基本的な考え方は、すべてのデータポイントが等しく有益であるとは限らないということです。 直感的には、優れた家庭教師は、教科書全体に取り組むのではなく、学生に最適なカリキュラムを構築できます。

• 簡単な概念は、難しい概念よりも学習に必要なデータが少なくて済みます
• 同じアイデアを表現する方法が異なる場合は、同じ言い回しを複数回行うよりも、モデルにさまざまな例を示す方が価値があります
• モデルが概念を自信を持って理解したら、理解を深めるのに役立つより多くのデータを提供するよりも、他の概念でモデルをトレーニングする方がはるかに価値があります

アクティブ ラーニングにはさまざまな固有の方法がありますが、それらはすべて、 モデルの不確実性の概念の定義に依存しています。この概念は、モデルが予測にどの程度確信を持っているかを定量化するものです。modAL Pythonライブラリで、さまざまな一般的な不確実性指標の実装と説明を見つけるか、この調査論文でアクティブラーニングの研究について詳しく知ることができます。両方をチェックすることをお勧めします。

従来のアクティブラーニングループは次のようになります。

標準的なアクティブラーニングループを示すフローチャート

モデルにとって最も有益なデータポイントのみに繰り返し注釈を付け、迅速に反復することで、同じパフォーマンスを達成するために必要な労力を大幅に削減できます。

例

デモンストレーションの目的で、 NLTKが提供する公開されているロイターコーパスを使用しています。これは、90のカテゴリでタグ付けされた10,788のニュース記事のコレクションであり、どの記事にも1つ以上のタグを付けることができます。

たとえば、次の記事には grain、 ship 、 wheatのタグが付けられました。

フランスの輸出業者は中国への小麦販売の増加を見ています

フランスの輸出業者は、1986/87年(7月/6月)に約60万トンのフランス産軟質小麦が中国に販売されたと推定している。1986年7月から今年2月までの間に、約30万トンが中国に輸出された。さらに10万トンから15万トンが今月中に出荷され、4月にもほぼ同じ量が出荷されるという。

関税の数字によると、フランスは1985/86年に約25万トンの軟質小麦を中国に販売した。しかし、一部の輸出業者は、中国が1月に輸出強化プログラムの下で100万トンの米国製軟質小麦を提供し、このイニシアチブの下でいくつかの購入を行った後、フランスとの契約の一部を放棄するのではないかと懸念している。

クリーニング/処理 済みのデータはこちらでご覧いただけます。ぜひご自身でお試しください。

アクティブ ラーニングの簡単な比較

Communications Mining™ のアクティブ ラーニング戦略と、データ収集の標準ベースラインであるトレーニング セットからのランダム サンプリングを比較してみましょう。

すべての実験で、セットアップは次のとおりです。

• 最も一般的な20のタグを選択し、それらのみを学習します
• トレーニング/テスト分割では、データセットによって提供されるものを使用します
• 10回の実行の平均と標準偏差を報告します
• 基になる機械学習モデルはまったく同じですが、唯一の違いは注釈付け戦略です

どちらの方法も、ランダムに選択された同じ 100 個の例 (初期セット) から始まります。アクティブ ラーニングでは、少量の初期データを使用してトレーニング プロセスの指針として使用する前に、信頼できる不確実性の推定値を得る必要があります。

実際には、この初期セットは通常、Communications Mining™ の[発見] ページの[クラスター] を使用して作成されますが、比較をできるだけ公平にするために、この投稿では両方のメソッドに同じランダムな初期セットを使用します。

アクティブ ラーニングについては、Communications Mining のアクティブ ラーニング戦略によって推定された、最も有益な 50 の例を繰り返し選択し、モデルを再トレーニングして繰り返します。 ベースラインでは、各反復で残りの注釈なしデータから 50 個の例をランダムにサンプリングします。

各タイム ステップで、まったく同じテスト セットで両方のモデルのパフォーマンスを比較し、 平均適合率の平均値 (mAP) を主要なメトリックとして使用します。

アクティブラーニングにより、モデルはより少ない例でより高いパフォーマンスに到達できます。 影付きの領域は±2σを表します

注:

アクティブラーニングは、ランダムベースラインを明らかに上回っています。後者は 3,050 個のトレーニング例で 80% の MAP を達成しますが、アクティブ ラーニング主導のトレーニングでは、わずか 1,750 個の例で 1.7 倍の削減で達成されます。

アクティブラーニングが優れたモデルを生成するためのデータ要件を減らすことができることを経験的に示しましたが、それは本当に私たちが達成したいことですか?

目標を再考する

アクティブラーニングの真の目的は、優れた機械学習モデルの作成にかかる時間を短縮することであるべきだと考えています。 この時間は、さまざまなチームの調整とスケジュールの管理、データサイエンティストによるモデルの開発とトレーニング、およびSMEによるデータ注釈に分割されます。

アカデミックアクティブラーニングの誤謬

ほとんどのアクティブラーニング研究は、モデルのデータ要件をさらに減らす方法を作成することを目的としています。 彼らは通常、実際の設定では必ずしも正しいとは限らない仮定を立てます。

アノテーターは、すべての入力に同じ時間でラベル付けするわけではありません

トレーニングポイントの数を減らすことだけを目指すことは、同じ人であっても、異なる入力に注釈を付ける時間が大幅に異なるという事実を無視します。 テキストが長い入力や、より複雑な言い回しの入力は、読み取りに時間がかかります。 より多くの概念を持つ入力は、テキストを読みながら多くの異なるテーマを追跡する必要があるため、注釈を付けるのに時間がかかります。

コンテキストの切り替えにもコストがかかります。 ラベラーに同じ概念に20回続けて注釈を付けるように依頼すると、注釈作成者は常に精神的なコンテキストを切り替える必要があり、適切な注釈フローに入ることができないため、20の異なる概念に注釈を付けるよりも高速になります。

注釈付きの例の数だけを見ると、誤解を招く可能性があります。 実際、入力の情報が半分であるが、注釈を付けるのが他の入力よりも10倍速い場合、注釈を付けることは、アクティブなSME時間の点でより良いトレードオフです。 最終的に、これは最小化すべき最も重要なメトリックです。

アノテーターがループにうまく統合されていない

Active Learning research assumes that asking an annotator to label an input surfaced by the latest trained model can happen instantaneously. In this world, the human annotator is tightly integrated into the Active Learning loop and is just waiting to be fed an input to annotate, like an annotating machine.

ただし、実際には、データに注釈を付けるSMEが、モデルトレーニングを制御するのと同じ人であることはめったにありません。 各イテレーションでは、SME とデータ サイエンティストの間で調整を行い、データをやり取りして新しいモデルにアクセスできるようにし、全員の忙しいカレンダーと同期する必要があります。

モデルの再トレーニングは瞬時には行われません

アクティブ ラーニングでは、モデルを最適に改善するために何度も反復処理する必要があるため、モデルの再トレーニングは瞬時に行われ、時間のかかるアクティビティはデータのアノテーションのみであるというのが一般的な前提です。ただし、モデルの再トレーニングが別のデータ サイエンス チームによって制御されている場合や、Google AutoML などの最先端のクラウド ソリューションによって提供されている場合は、モデルの再トレーニングに実際にかなりの時間がかかる可能性があります。

Google AutoML では、 モデルのトレーニングには 6 から 24 時間かかると推定されています。これは迅速な反復処理とは根本的に相性が悪いです。SME がバッチにラベルを付けるたびに、次のバッチが提供されるまでに 6 時間待つ必要がある場合、モデルのトレーニングには数か月とは言わないまでも数週間かかります。

中小企業はトレーニングをやめるタイミングがわからない

ベンチマークを確立し、同等の研究を行うために、パフォーマンスは通常、明確に定義されたテストセットに対してベンチマークされます。 これは学術研究に必要ですが、現実の世界では、注釈付きデータをまったく持たない状態から始めるため、そのようなテストセットは存在しません。 モデルが本番環境で使用するのに十分なパフォーマンスに達した時期、つまり中小企業がより多くのデータに注釈を付けるのをやめて価値を獲得し始めることができる時期を知ることは困難な作業です。

アカデミックデータセットには、学習しようとしている既知のラベルのセットがあり、テストセットの精度は進捗状況の優れた指標になります。 現実の世界では、中小企業はデータ内にどのような概念が存在するかわからず、注釈を付けるときに新しい概念を発見することがよくあります。 優れた進捗レポートでは、この不確実性を考慮に入れる必要があります。

実社会のためのアクティブ ラーニング

Communications Mining™ は、こうした仮定に疑問を投げかけ、複数の利害関係者や厳しい要件があるビジネス環境でマシン ラーニング モデルをトレーニングするという現実を考慮した製品を開発しました。

The Communications Mining UI is designed to help SMEs annotate data as quickly as possible. The UI surfaces suggested labels based on the latest model predictions, allowing users to quickly assign or dismiss predictions, instead of having to select from the entire label-set. As the model gets better, the suggestions get better, making it increasingly faster for annotators to review more data.

この記事の最初の3つのラベルの割り当ては、提案されていない4番目のラベルよりもはるかに高速です。 予測はまた、中小企業が読み始める前から何を期待すべきかを知るのに役立ち、心の中で文脈を呼び起こします。

2 つ目の重要な要素は、Communications Mining モデルのトレーニングが高速で、平均で 2 分以内かかることです。 モデルはバックグラウンドで継続的にトレーニングされ、SME がデータに注釈を付けることによってトリガーされます。

プラットフォームは常に利用可能な最新のモデルによって強化されるため、モデルのトレーニング中も、アクティブ ラーニング ループは以前のモデルを使用して機能します。 バックグラウンドでの継続的な再トレーニングにより、モデルの再トレーニングによるダウンタイムが効果的に排除され、すべてがシームレスに統合されます。

Communications Mining のモデルの評価

Communications Mining™ のアクティブ ラーニング戦略は、モデルの評価によって決定されます。その背後にある考え方は、理解しやすい総合的な評価を提供することであり、モデルのパフォーマンスの概要と、モデルを改善するための最良の方法の両方を提供します。

モデルを評価できる 4 つの軸が表示されます。

• バランスは、モデルのトレーニング データがデータセット全体をどの程度適切に代表しているかを追跡します。
• カバレッジは 、概念のタクソノミーがデータ内のすべての概念をどの程度正確に網羅しているかを追跡します
• すべてのラベルは、すべてのラベルの予測パフォーマンスを追跡します
• パフォーマンスの低いラベルは、パフォーマンスが最も低いラベルの予測パフォーマンスを追跡します。 完璧なデータセットでは、パフォーマンスが最も低いラベルでも十分なパフォーマンスが得られるはずです

最後の2つは、学界で使用されているテストセットのパフォーマンスと非常によく似ていますが、先験的な既知のテストセットではなく、利用可能なレビューデータから推定されるように変更されています。 最初の 2 つは、進化し続けるラベルのセットによる反復的な注釈の潜在的な落とし穴を軽減するのに役立つように設計されています。 興味のある読者は、バランスとカバレッジに関する今後のブログ投稿を読むことで、それらについて詳しく知ることができます。

これらすべての要素を単一のスコア、モデル評価に結合します。 これは、進行状況を追跡するために使用できる明確なスコアを提供することによって、トレーニングをいつ停止するかという質問に答えようとします。

各因子は、それを改善するためのアクションと、因子評価を理解するのに役立ついくつかの指標となる貢献者を推奨します。

改善しようとしている項目にリンクされた一連のアクションを提供すると、ユーザーはモデルに不足している領域をより深く理解し、アノテーションを行う際により詳しいコンテキストを提供できます。SMEをOracleアノテーションマシンのように扱うのではなく、モデルについてユーザーを教育しながら改善を依頼することは、データにアノテーションを行うより共感的な方法です。

最も関心のある軸に沿ってモデルを改善するための複数のオプションを提供することで、エージェントの主体性が高まり、イライラするエクスペリエンスが軽減されます。

注:

中小企業にとっては、非常に難しい入力に注釈を付けることで精神的に疲れ果てて、ほんの数例でやめるよりも、少し情報量が少ない多くの入力に簡単に注釈を付ける方がよいでしょう。

アクションはグループ化されているため、SMEは1つのアクションを実行するときに、コンテキストの切り替え、労力、フラストレーション、注釈付けに費やす時間を最小限に抑えて、モデルの特定の領域を改善しようとしています。

劇的に短い時間でより良いモデル

ロイターのデータセットに戻りましょうが、以前の比較をデータポイントではなく人間の時間で再構成します。

**アノテーションはどのくらいの速さで行えますか?

これを行うには、入力に平均して注釈を付けるのにかかる時間を決定する必要があります。 これを推定するためにプラットフォームを使用したユーザーの行動を調査したところ、アノテーションの速度を決定する主な2つの要因は、ラベルが予測されるかどうかと、タスクにコンテキストの切り替えが含まれるかどうかであることがわかりました。

Communications Mining™ プラットフォームでは、[ シャッフル]、[ 信頼度が低い]、[最近]、[ リバランス ] などの一部のトレーニング ビューでは、特定のテーマ別にグループ化されていない入力が表示されるため、コンテキストが頻繁に切り替わります。その他にも、[発見]、[ラベルを教える]、特定のラベル確率で並べ替えるなど、すべて関連する入力が表示されるため、より焦点を絞ったエクスペリエンスにつながります。

次の表は、アノテーションあたりの推定時間の中央値をこれら 2 つの要因で分類したものです。

	手動で割り当てる	予測の確認
コンテキストの切り替え	7.10	2.95
集中	5.56	2.66

予測の確認は、手動でラベルを割り当てるよりもはるかに高速であり、ツールを使用しないランダムな注釈付けは、専用ツールで予測を確認するよりも2.5倍以上遅くなる可能性があることがわかりました。 しかし、予測がなくても、焦点を絞ったタスクは、コンテキストの切り替えが必要なタスクよりも平均22%高速です。

このデータを深く掘り下げ、高速注釈エクスペリエンスの成否を明らかにするフォローアップブログ投稿にご期待ください。

このデータを使用して、優れたモデルを構築するために必要なアクティブな人的時間を見積もることができます。

アクティブなアノテーション時間による戦略の比較

最初の比較に戻りましょう。 さまざまな要因の影響を完全に理解するために、以前に比較した2つの方法に加えて、3つの追加のシナリオを検討します。

• Communications Mining のアクティブ ラーニング。前回の比較で使用しました。モデルの評価に基づいて、各タイム ステップで、推奨される上位 5 つのアクションのそれぞれから最初の 10 個のサンプルをラベル付けしてから、モデルを再トレーニングします。実際には、Communications Mining™ のモデルは通常、50 件の新しいアノテーションが提供される前に再トレーニングを完了します。したがって、実際には、モデルはシミュレーションよりも最新になります。
• 提案なしのアクティブ ラーニング。Communications Mining の手法を使用しますが、予測を表示することでアノテーションを高速化する専用のアノテーション UI ではありません。
• 提案なしのランダムサンプリングは、前回の比較のベースラインでした。各タイム ステップで、アノテーションが行われていない残りの候補のうち 50 個をランダムにサンプリングします。専用のアノテーション UI は使用しません。
• ランダム サンプリングと提案。前の方法と同じですが、専用のアノテーション UI で拡張されています。
• ランダム バッチ学習 (SME がアクティブ ラーニング プロセスに緊密に統合されておらず、Communications Mining の UI などの適切なツールにアクセスできない場合に期待される)。このような状況では、モデルのトレーニングは長いプロセスであるため、アノテーションは大規模なバッチで行われ、トレーニング時間を償却すると想定します。タイム ステップごとに、1,000 個の新しい入力をランダムにサンプリングしてアノテーションを行います。

まず、モデルトレーニングのためにコンピューターに座ってデータに注釈を付けているときに、アクティブなSME時間のみを調べた場合に何が起こるかを調べます。

アクティブな SME 時間に対する各注釈戦略のパフォーマンス。 影付きの領域は±2σを表します

専用の注釈ツールとアクティブラーニングは、どちらもランダムベースラインよりも大幅に改善されていることがわかります。 アクティブラーニングと優れたUXを組み合わせることで、データ効率の向上と各入力のラベル付けに必要な時間の短縮の両方が可能になり、両方のメリットが組み合わされ、さらに高速化されます。

ただし、中間シナリオはやや人工的です。実際には、機械学習の活用を開始しようとしている企業は、両方の機能を備えたCommunications Miningなどのツールを購入するか、ランダムバッチシナリオにはるかに近い概念実証を社内で構築する可能性があります。したがって、以降の比較では、 Communications Mining と ランダム バッチに焦点を当てます。

両方のシナリオ間の時間差分をベンチマークすると、80%のMAPに達するモデルが得られます。

アクティブな SME 時間に対する Communications Mining 注釈戦略とランダム バッチ注釈付けのパフォーマンス。 影付きの領域は±2σを表します

注:

Communications Mining では、ランダム バッチのアノテーションと比較して 3.1 倍の 高速化が実現し、SME は必要な MAP を 9 時間 25 分ではなく 3 時間で達成できます。これが、アノテーションに費やした午前中と1営業日半の違いです。

価値実現までの時間の見積もり

以前の見積もりは、中小企業が積極的に注釈を付けている時間のみを調べているため、依然として比較的楽観的です。 アクティブなSME時間は考慮すべき重要な要素ですが、機械学習プロジェクトの価値実現までの時間は、実時間、つまりプロジェクトの開始から使用する価値のあるモデルの提供までの日数で測定されます。 ウォールタイムを考慮するときは、他の要因を考慮する必要があります。

前述のように、Google AutoML などのサードパーティのクラウド ソリューションによって提供されている場合、トレーニングには最大で 24 時間かかることがあります。Communications Mining のモデルを AutoML と最近比較したところ、400 個から 5,000 個のサンプルでトレーニングすると、通常は約 4 時間かかることがわかったため、これを推定値として使用します。

さらに、クラウド ML ソリューションを使用している場合でも、モデルのトレーニングは社内のデータ サイエンス チームがトリガーする必要があります。 この状況では、注釈の各ラウンドには次の手順が含まれます。

1. アノテーションに関わるすべての中小企業からデータを収集
2. データをデータ サイエンス チームに送信する
3. データ サイエンティストは、新しいデータの形式が適切であることと、必要なすべてのフィールドに入力されていることを手動で確認します
4. 中小企業にデータの問題を修正するよう依頼する可能性がある
5. 既存のデータを新しく収集したセットとマージする
6. 新しいモデルをトレーニングする
7. 新しいモデルのパフォーマンスを検証し、トレーニングの実行が正常に終了したことを確認する
8. 新しいモデルを使用して、SME によって注釈が付けられる注釈付けされていないデータの新しいバッチをフェッチします
9. 注釈のためにデータを送信する

これらのステップはすべて、優先順位やスケジュールが異なる複数のチーム間で調整しながら行う必要があるため、多くのダウンタイムが発生します。パートナーとのやり取りから、各イテレーションには最低でも 48 時間かかると見積もっていますが、チームの優先順位が一致していない場合は数週間かかることもあります。

チーム間のコミュニケーションによる平均ダウンタイムとして 48 時間を使用すると、機械学習プロジェクトの価値実現までの時間の現実的な見積もりを生成できます。

ウォール タイムに対する Communications Mining™ のアノテーション戦略とランダム バッチ アノテーションのパフォーマンス。影付きの領域は ±2σ を表します

注:

このタスクは Communications Mining を使用すれば 3 時間で完了できますが、適切なツールを使用しないと 270 時間、つまり 89 倍の時間がかかる可能性があります。

1 人が関与する半日の作業の後に価値を引き出すか、複数のチームが関与する 2 週間以上にわたって価値を引き出すかの違いは、企業での機械学習の採用を左右し、提供できる価値を逃す可能性があります。

結論

このブログ投稿ではいくつかのトピックについて説明しましたが、主なポイントは次のとおりです。

• アクティブ ラーニングは、優れた機械学習モデルのトレーニングに必要なデータ ポイントの数を減らすのに役立ちます
• アクティブラーニングの研究は、必ずしも現実的ではない仮定を立てます
• これらの仮定に立ち向かい、注釈付けプロセスに人間のアノテーターをより多く含めることで、機械学習プロジェクトの価値実現までの時間を大幅に短縮できます
• 人間の経験を優先することは、アクティブラーニング戦略を成功させるために不可欠です

Communications Mining™ を使用して、自社でマシン ラーニング主導の価値の導入を加速させたい場合は、 UiPath® にお問い合わせください。