- はじめに
- アクセス制御と管理
- ソースとデータセットを管理する
- モデルのトレーニングと保守
- データ要件を理解する
- トレーニング
- 概要
- [クラスター] を使用したトレーニング
- [検索] を使用したトレーニング
- 一般フィールドを使用する
- 生成 AI による抽出
- 分析と監視を使用する
- オートメーションと Communications Mining™
- 開発者
- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining™ でアノテーションの偏りを修正する
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 対話データ分析 AI としての Communications Mining™ と Google AutoML を比較する
- ライセンス
- よくある質問など

Communications Mining ガイド
- Automation Cloud ユーザーに必要な権限:
- ソース - 読み取り - メッセージを表示します。
- データセット - 読み取り でラベルを表示します。
- データセット - ラベルを適用するために確認します 。
- レガシ ユーザーに必要な権限:
- ソースを表示 - メッセージを表示します。
- [ラベルを表示 ] にラベルを表示します。
- ラベルを適用するための確認とアノテーションを行います。
データがプラットフォームに読み込まれると、概念または類似する意図を共有していると思われるコミュニケーション (メッセージ) がグループ化され、30 個のクラスターが表示されます。トレーニング プロセスのこの部分の目的は、クラスターごとに提示されるデータにアノテーションを行うことです。
このプロセスでは、複数の類似するメッセージに一度にラベルを追加したり、必要に応じて個々のメッセージにラベルを追加または削除したりできるため、モデルのトレーニングがより簡単かつ迅速になります。
- ラベル名を決めるのに長時間かけないようにします。ラベル名は、トレーニング プロセス中にいつでも変更できます。
- ラベルに名前を付けるときはできるだけ具体的にし、最初のうちはタクソノミーの階層をできるだけ少なくフラットにしておきます。つまり、子ラベルを追加しすぎないようにします。階層はあとでいつでも変更および再構築できるため、最初はラベル名をできるだけ具体的にすることをお勧めします。いつでも操作をやり直してラベルを削除できるので、この段階では、できる限り多くのラベルをメッセージに追加する必要があります。既存のラベルを拡張するよりも、このほうが簡単で迅速です。
- 最初に具体的できめ細かいタクソノミーを作成するほうが簡単です。タクソノミーが詳細すぎる場合は、後で簡単にタクソノミーを編集して調整できます。つまり、追加するラベルとサブラベルを減らすのではなく増やします。
- フラットな階層のラベルから始めることをお勧めします。つまり、サブラベルを追加しすぎないようにします。後でいつでもタクソノミーを再構成して、より階層的な構造にすることができます。
- 各メッセージには複数のラベルを割り当てることができます。必ず、関連するラベルをすべて適用してください。そうしないと、省略したラベルにはメッセージを関連付けないようにモデルに教えることになります。
- 今すぐ時間をかけて慎重にアノテーションを行い、将来、マシンがラベルを迅速・正確に予測できるようにすることをお勧めします。
- すべてのクラスターが明確に同様の意図を持つわけではありません。意図がすべて異なっていても作業を進めることができます。
新しいデータセットを初めて作成した場合、次の画像に示すように [発見] ページが空である可能性があります。これは、プラットフォームのアルゴリズムがメッセージをクラスターにグループ化するためにバックグラウンドで作業しているために発生する可能性があります。データ ソース内のメッセージの数によっては、この処理に最大で数時間かかる場合があります。
次の図に、[ 発見] のレイアウトとクラスターの例を示します。この画像では、これらのメッセージでホテルのベッドの快適さという共通のテーマが共有されていることが検出されました。
レイアウトの説明
A
- クラスター モードと検索モードを切り替えるトグル ボタンB
- 別のクラスターに切り替えることができるドロップダウン メニューC
- ページに表示されているすべてのメッセージにラベルを適用するボタンD
- クラスター 7 から表示されている 6 件のメッセージの 1 件 (各クラスターには 12 件のメッセージが含まれる)E
- ラベルを個々のメッセージに適用するボタンF
- ページに表示されているメッセージの数を 6 から 12 件の範囲で調整するドロップダウン メニューG
- ページ上でのメッセージの選択を調整および反転するボタンH
- メッセージの選択を解除し、一括して追加したラベルから除外するボタン
下の画像に示すように、[発見] では、メッセージがそのクラスターにグループ化された最大の寄与要因が強調表示されるため、共通のテーマを素早く識別できます。
- 濃い線は、範囲の中でより重要な部分を示します。ホバーすると詳細が表示されます。
- 薄い線は、クラスターへの寄与度が中程度からやや弱いことを示します。
- クラスター内の各メッセージを確認します。
- ページ上のすべてのメッセージに適用されるラベルがあると思われる場合は、[ラベルを追加] を選択します。
- ラベルの名前を入力して Enter キーを押すか、表示されるピン ボタンを選択します。ピン ボタン を使用すると、別のラベルの名前を入力してピン ボタンをもう一度選択すると、一度に複数のラベルを追加できます。
4. [ ラベルを適用 ] を選択して、メッセージにラベルを割り当てます。割り当てられたラベルは、[ 発見 ] ページのすべてのメッセージ カードに表示されます。
または、メッセージ カードで [ ラベルを追加 + ] を選択して、個々のメッセージにラベルを追加することもできます。
ページ上のメッセージのグループにラベルを追加したものの、1 つまたは複数を除外したい場合は、トグル ボタンを使用して選択を解除できます。次の画像の強調表示された箇所 A をご覧ください。次に、下の画像の強調表示された箇所 B のボタンを使用して、選択を反転したり、すべてを選択解除または再選択したりできます。
- A - ページ番号または矢印を選択して、同じクラスターの異なるページを表示します。
- B - [ ページごと ] ドロップダウン リストを使用して、ページあたりのメッセージの数を調整します。
- C - クラスターのアノテーションが完了したら、[ クラスター # ] ドロップダウン リストを使用して新しいクラスターを続行します。
モデルにより 30 個のクラスターが提示されます。これらのクラスターで作業を行って、探索フェーズの強固な基盤を構築してください。ただし、関係がないクラスターである場合は、スキップします。