- はじめに
- アクセス制御と管理
- ソースとデータセットを管理する
- モデルのトレーニングと保守
- 生成 AI による抽出
- 分析と監視を使用する
- オートメーションと Communications Mining™
- 開発者- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining™ でアノテーションの偏りを修正する
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 対話データ分析 AI としての Communications Mining™ と Google AutoML を比較する
 
 
- ライセンス
- よくある質問など

Communications Mining ガイド
- ラベル
- 一般フィールド
ラベルはメッセージ全体を表します。たとえば、キャンセル、取引の失敗、緊急などです。一般フィールドは、メッセージの具体的な部分 (取引先名、顧客 ID、キャンセル日など) を参照します。
下流工程では、ラベルを使用して、アクションをトリアージして優先順位を付け、実行するアクションの種類を決定します。一般フィールドは、要求のフィールドに入力するために使用します。たとえば、下流工程でメッセージにフィルターを適用して、「キャンセル」というラベルが付いたメッセージに絞り込み、抽出された「顧客 ID」と「キャンセル日」の一般フィールドを使用して API を呼び出し、自動的にキャンセルを処理できます。
Communications Mining には、組織、通貨コード、日付など、一般的な概念に対応する組み込み一般フィールドが多数付属しています。Communications Mining の組み込み一般フィールドをカスタマイズして、特定のユース ケースに合わせて調整できます。たとえば、Communications Mining には、高度なトレーニングを受けた事前に構築された日付の一般フィールドがあり、更新日やキャンセル日など、よりカスタマイズされた一般フィールドの出発点として使用できます。または、ゼロから始めて、まったく新しいものを認識するように Communications Mining に教えることもできます。
このメールボックスは、更新、キャンセル、管理の要求を受け取りますが、緊急の場合もあります。Communications Mining™ は、これらの各概念を認識するようにトレーニングされており、Communications Mining の予測を使用してサポート チケットを作成することで、メールを適切なチームにトリアージできます。
保険証券番号の形式はこの特定の保険会社に固有であるため、一般フィールドを最初からトレーニングできるように構成します。 一方、被保険者は組織の一種であるため、組み込みの組織全般フィールドに基づいてトレーニング可能になるように構成します。 最後に、ブローカーは常に自分の名前を電子メールに入れるとは限らないため、ブローカーの電子メールアドレス(コメントメタデータから利用可能)を使用して、一般的なフィールドとして抽出するのではなく、内部データベースで対応する名前を検索することにしました。
これらのアプローチの概要は以下の表でご確認ください。
| 構成 | 使用すべきタイミング | 例 | 
|---|---|---|
| 基本一般フィールドのないトレーニング可能な一般フィールド | さまざまな種類の内部 ID によく使用される場合や、Communications Mining に適切な基本汎用フィールドがない場合に使用されます。 | 保険証券番号、顧客 ID | 
| 基本一般フィールドを持つトレーニング可能な一般フィールド | Communications Mining の既存の構築済みの一般フィールドをカスタマイズするために使用します。 | 取消日 (基準日)、被保険者団体 (団体基準) | 
| 事前構築済みの一般フィールド (トレーニング不可) | 定義されたとおりに正確に一致させる必要がある、トレーニングによって間違いを招くような一般的なフィールドに使用されます。 | ISIN (ISIN コード) | 
| 一般フィールドの代わりにコメントメタデータを使用する | 必要な情報がコメント メタデータに構造化された形式で既に存在する場合に使用されます。 | Sender Address (送信者のアドレス)、Sender Domain (送信者のドメイン) | 
Communications Mining™ には、予測された一般フィールドを含め、予測を取得する方法が複数用意されています。データのダウンロードの概要を参照して、ユース ケースに最適な方法を理解してください。
どちらの方法を選択する場合でも、次のエッジケースを認識し、アプリケーションで処理する必要があります。
- 予期されるすべての一般フィールドが応答に存在するわけではありません
- 応答には、1 つ以上の一般フィールドに対する複数の一致が含まれます
- 応答に存在するすべての一般的なフィールドが正しいわけではありません
このセクションでは、これらのエッジケースのそれぞれについて詳しく説明します。
すべての一般フィールドが応答に存在するわけではありません
応答には、1 つ以上の一般フィールドに対する複数の一致が含まれます
メタデータは、このような場合を処理する際に応答で使用できます。たとえば、メール本文に表示されるポリシー番号よりも、メールの件名に表示されるポリシー番号を優先的に選択できます。次の例は、メールの例に対して API が返す応答を示しています。
{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}{
  "predictions": [
    {
      "uid": "aa05ba2250de48e3.7588b85f68f81c3b",
      "labels": [...],
      "entities": [
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "body",
            "message_index": 0,
            "utf16_byte_start": 200,
            "utf16_byte_end": 222,
            "char_start": 100,
            "char_end": 111
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0204963"
        },
        {
          "id": "6a1d11118b60868e",
          "name": "policy-number",
          "span": {
            "content_part": "subject",
            "message_index": 0,
            "utf16_byte_start": 0,
            "utf16_byte_end": 22,
            "char_start": 0,
            "char_end": 11
          },
          "kind": "policy-number",
          "formatted_value": "GHI-0068448"
        },
        {...},
        {...},
        {...}
      ]
    }
  ],
  "model": {
    "version": 31,
    "time": "2021-07-14T15:00:57.608000Z"
  },
  "status": "ok"
}