- はじめに
- アクセス制御と管理
- ソースとデータセットを管理する
- モデルのトレーニングと保守
- 生成 AI による抽出
- 分析と監視を使用する
- オートメーションと Communications Mining™
- 開発者
- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining™ でアノテーションの偏りを修正する
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 対話データ分析 AI としての Communications Mining™ と Google AutoML を比較する
- ライセンス
- よくある質問など
ビジネス コミュニケーション データの課題、プラットフォームによる自然言語処理の適用方法、ラベルと一般フィールドが表すものなど、Communications Mining の主要な概念について説明します。
タクソノミーを設計する前に、目的を達成するためには、ラベル、一般フィールド、メタデータで何をキャプチャすべきかを理解する必要があります。これらはすべて互いに補完し合う関係であるため、重複を最小限に抑える必要があります。
ラベルは 、概念、テーマ、意図をキャプチャします。たとえば、住所変更要求、緊急、状態更新要求などです。メタデータ内に存在する情報をキャプチャするためにラベルを使用しないでください。
一般フィールドは 、テキストから抽出された構造化データ ポイントをキャプチャします。たとえば、ポリシー番号、取引 ID、URL、日付、金額などです。
メタデータは 、各メッセージに関連付けられている追加の構造化された情報を提供します。メタデータのプロパティは次のとおりです。
- ユーザー プロパティ - NPS スコアなどのアップロード前に定義および追加されます。
- メールのプロパティ - 送信者、受信者、ドメインなどのメールからキャプチャされます。
- 受信者数 - メッセージの [宛先]、[CC]、および [BCC] フィールドに含まれる受信者の合計数です
- スレッド プロパティ - メールやチャットなどのスレッド データに対して自動的に派生されます。たとえば、スレッド内のメッセージの数、スレッド期間などです。
- 参加者数 - 1 つのメッセージに関係する参加者の数です。
- 参加者数 - スレッド全体の参加者の合計数です。
ラベルと一般フィールドを比較する
このセクションでは、ラベルと一般フィールドの主な違いと類似点を示します。この 2 つは通常、自動化の場合は組み合わせて使用しますが、単独ではそれぞれ異なる目的に使用します。
ラベル
- 意図、テーマ、概念をキャプチャします。
- さまざまな式を 1 つの構造化データ ポイントに正規化します (例: ある概念が適用されるかどうかを決定する場合など)。
- メッセージ レベルで割り当てられます。
- すべてのコミュニケーション テキスト、ラベル名、説明、および特定のメタデータ プロパティから学習します。
- 特異性のレベルを追加するために階層構造になっている。
一般フィールド
- テキストから抽出した日付などの特定の種類の特定の値をキャプチャします。
- 完全にルールベースで、非常に特殊な形式に従うことができます。
- 型によっては、さまざまな式から構造化された形式に正規化できるものがあります。
- Communications Mining は、一般フィールドの値と、それが存在する段落のコンテキスト、および周囲のテキストから学習します。
- 段落レベルで割り当てられます。
ラベルと一般フィールドの両方に共通
- 事前トレーニングすることも、ゼロからトレーニングすることもできます。
- 事前トレーニング済みのラベルと一般フィールドは、有効化するとすぐに予測され、プラットフォームが自動的に再トレーニングされます。
- ラベルと一般フィールドの予測を承認および却下し、予測されなかったときに割り当てることができます。
- 分析と自動化のユース ケースの両方に使用できます。
トレーニング中にプラットフォームが学習できる内容
このプラットフォームは、メッセージのテキスト、ラベル名と説明、および複数のメタデータ プロパティに基づいてラベルの予測を行います。生成 AI によるアノテーションの導入により、プラットフォームはラベルの名前と説明をトレーニングの入力として使用し、モデルが各ラベルの意味をよりよく理解できるようにします。
たとえば、メールの場合は、メールの件名と本文を意味します。一般フィールドの場合は、割り当てられたテキストの範囲と、その範囲の周囲にあるテキストのコンテキストから学習します。
次の画像に、次の詳細を示します。
- 件名
- テキストの本文 - スレッド データの場合、Communications Mining は、スレッド ID によってリンクされているスレッド全体ではなく、最新のメールのみに基づいて予測を行います。
- 一部のメタデータ - Communications Mining は、送信者または受信者のドメイン、NPS スコアなど、テーマを識別できるプロパティから学習します。メールの特定の送信者と受信者、つまり完全なメール アドレスや、ID などの一意のプロパティからは学習しません。
ラベル、一般フィールド、メタデータを一緒に使用する
次の画像には、ラベル、一般フィールド、メタデータが、異なっていながらどのように互いに補完し合うかを示すメッセージの例が含まれています。この受信リクエストを自動化するには、特定の目的のためにそれぞれが必要になる場合があります。
- ラベル - 住所変更ラベルは、リクエストの性質、つまり意図を識別するために必要です。
- 一般フィールド - 住所、市区町村、および郵便番号は、住所の更新先の新しい値を取得するために使用されます。ラベルで特定の値がキャプチャされていませんでした。
- メタデータ - このプロセスは、送信者ドメインを通じて識別可能な特定のクライアントに対してのみ実装できます。特定のクライアントのラベルはメタデータにキャプチャされるため、作成する必要はありません。