- はじめに
- アクセス制御と管理
- ソースとデータセットを管理する
- モデルのトレーニングと保守
- 生成 AI による抽出
- 分析と監視を使用する
- オートメーションと Communications Mining™
- 開発者
- 機械が単語を理解する方法:NLPに埋め込むためのガイド
- トランスフォーマーによるプロンプトベースの学習
- 効率的な変圧器II:知識蒸留と微調整
- 効率的な変圧器I:注意メカニズム
- 階層的な教師なしインテントモデリング:トレーニングデータなしで価値を得る
- Communications Mining™ でアノテーションの偏りを修正する
- アクティブ ラーニング: より優れた ML モデルを短時間で実現
- それはすべて数字にあります-メトリックを使用してモデルのパフォーマンスを評価します
- モデルの検証が重要な理由
- 対話データ分析 AI としての Communications Mining™ と Google AutoML を比較する
- ライセンス
- よくある質問など
Exchange からエクスポートした PST ファイルから、エクスポートの要件、既知の制限事項、アップロード エラーの解決策を記載した過去のメールを Communications Mining にアップロードします。
PST ファイルは 1 回限りのスナップショットであり、ライブ フィードではありません。PST アップロードを使用して、モデルのトレーニングのブロックを解除したり、恒久的な連携の設定中に過去のメールをバックフィルしたりできます。継続的なメール取り込みを行うには、代わりに Exchange との連携 を使用してください。
Communications Mining™ CLI を使用して PST ファイルをアップロードすると、ファイル内のメールが解析されてバケットに書き込みられます。次に、そのバケットからソースを作成し、そのソースをデータセットに追加します。
PST ファイルを使用する場合
| PST ファイルは、次の場合に使用します | 次の場合、PST ファイルを使用しないでください |
|---|---|
| ライブ連携を利用できるようにする前に、モデルのトレーニングのブロックを解除する必要があります。 | 運用環境に移行します。代わりに、 Exchange との連携 を設定します。 |
| メールボックスでイン プレース アーカイブを使用している場合などに、ライブ連携がアクセスできないメールの履歴のバックフィルが必要な場合。 | リアルタイムまたは継続的な取り込みが必要な場合。PST ファイルは、ある時点でメールボックスをキャプチャします。 |
| 環境によって Exchange との連携がブロックされており、プラットフォームにデータをすぐに必要としている場合 | 完全な会話スレッドが必要です。PST エクスポートでは、会話からメッセージを省略できます。 |
履歴のバックフィルの場合は、新しいメールに対して Exchange との連携を有効化したままにし、古いデータにのみ PST ファイルを使用します。トレーニング中に同期の実行を維持すると、アクティブ ラーニングで作業できるデータが増えます。
既知の制限事項
PST アップロードは、プラットフォームにデータを取り込むための信頼できる方法ではなく、ライブ連携に代わるものでもありません。PST をアップロードするたびにデータが失われるため、ファイル内のすべての電子メールがプラットフォームに到達することを期待しないでください。環境が許可されている場合は、代わりに Exchange との連携を使用してください。
以下の制限が適用されます。
- Outlook からエクスポートされた PST ファイルはサポートされていません。Outlook クライアントをエクスポートすると、Communications Mining に必要な移送ヘッダーが削除され、[送信済みアイテム] フォルダーが省略されます。CLI は、このようなファイルを完全に解析できない可能性があります。これが、大規模なデータ損失の最も一般的な原因です。
- 本文が RTF のみのメールはアップロードされません。CLI は、HTML 本文が存在する場合は HTML 本文を使用し、プレーンテキスト本文にフォールバックします。メールは両方がない場合のみ削除されます。ほとんどの RTF で構成された Outlook メールにはプレーンテキストの代替メールも含まれており、問題なくアップロードできます。アップロードを実行する前に、PST ファイル内の RTF のみの電子メールを検出する方法はありません。
- 添付ファイルの内容はアップロードされません。添付ファイルのメタデータ (名前、サイズ、コンテンツの種類) のみがアップロードされます。コンテンツの種類は、PST ファイルから読み取るのではなく、ファイル拡張子から推測されます。それ自体がメールである添付ファイルはスキップされるため、添付ファイルが転送されたメッセージのみであるメールでは添付ファイルは報告されません。
- 一部のデータが失われることが予想されます。経験則として、失敗するメールの約 1% の予算。実際の結果は両方向で異なるため、最初に
--dry-runでアップロードを実行し、実行の最後に CLI が出力するemails failed to parseカウンタとfailed to uploadカウンタを確認してください。 - メール以外の項目は失敗としてカウントされます。CLI は PST ファイル内のすべてのフォルダーをウォークし、各項目に
Message-IDヘッダーとDateヘッダーの両方を含める必要があります。下書き、予定表アイテム、連絡先、およびタスクにはどちらもないため、解析の失敗として報告されます。失敗回数はゼロ以外になることが予想されます。 - スレッドが不完全である可能性があります。PST ファイルには、必ずしも会話のすべてのメッセージが含まれているとは限りません。
- UTF-8 以外の文字セットは文字化けする可能性があります。最も影響を受けるのは、日本語 (ISO-2022-JP) と中国語のメールです。動作は体型によって異なります。
- プレーン テキストの本文は、メッセージのコード ページを使用して変換されます。変換に失敗した場合、メールは削除され、解析失敗としてカウントされ、
--dry-runが報告されます。 - HTML 本文は UTF-8 に強制されるため、デコードできないバイトは置換文字になります。エラーは発生せず、カウンターはインクリメントされず、
--dry-runはエラーを報告しません。アップロード後に、プラットフォームで HTML メールのサンプルを確認します。
- プレーン テキストの本文は、メッセージのコード ページを使用して変換されます。変換に失敗した場合、メールは削除され、解析失敗としてカウントされ、
エクスポートする前にメールボックスに情報を入力するには、メールを移動、コピー、またはリダイレクトします (たとえば、Outlook のメールボックス間でメールをドラッグします)。転送しないでください。転送されたメッセージは、以前の会話の本文から取り除かれた状態で到着します。ヘッダーとアドレスのみが残り、トレーニングには役に立ちません。
PST ファイルをエクスポートする
PST ファイルを Outlook からではなく Exchange からエクスポートします。Outlook クライアントから [ ファイル > を開く & エクスポート] > [インポート/エクスポート] を使用してエクスポートした PST ファイルでは、[送信済みアイテム] フォルダーとその他のフォルダーが省略され、CLI で解析できないファイルが生成される可能性があります。
サポートされているエクスポート ルートの概要については、「 メールボックスのエクスポート手順」をご覧ください。
Microsoft 365 と Exchange Online
クラウド メールボックスには Microsoft Purview 電子情報開示を使用します。詳しくは、「 電子情報開示で検索結果をエクスポートする」をご覧ください。
前提条件:
- エクスポートを実行する管理者は、Microsoft Purview ポータルの 電子情報開示マネージャー ロールを持ちます。このロールは既定では割り当てられていません。
- 組織が E3 または E5 ライセンスを持っている。
Steps:
- Microsoft Purview ポータルで、電子情報開示ケースを作成するか開きます。
- 対象のメールボックスにスコープを設定して検索を実行します。日付範囲内のすべてが返される場合は、キーワードを空のままにします。
- 検索で [ エクスポート ] を選択します。
- [ エクスポート形式] で、[ メッセージの PST を作成] を選択します。
- アーカイブ メールボックスと回復可能なアイテムを含めて、完全な履歴をエクスポートします。プライマリ メールボックスとアーカイブ メールボックスは、1 つの PST ファイルにマージされます。
- PST の最大パッケージ サイズを 1、2、5、または 10 GB に設定します。パッケージが小さいほど転送が容易です。
- プロセス マネージャーからパッケージをダウンロードします。
エクスポート パッケージは 14 日後に期限切れになります。Windows の組み込みの抽出データではなくサードパーティのアーカイブ ツールを使用してパッケージを抽出し、ダウンロードが完了したらファイル サイズを確認します。
オンプレミスの Exchange Server
この手順は、Exchange Server 2016、2019、および Subscription Edition に適用されます。詳しくは、「 電子情報開示の検索結果を PST ファイルにエクスポートする」をご覧ください。
前提条件:
- エクスポート マシンに .NET Framework 4.7 と Chrome または Firefox の ClickOnce アドインがインストールされている。
- エクスポートを実行するアカウントで、多要素認証 (MFA) を使用しません。電子情報開示 PST エクスポート ツールは MFA アカウントでは機能しないため、最初にアカウントのアプリ パスワードを作成してください。
Steps:
- Exchange 管理センターで、[ コンプライアンス管理] > [インプレース電子情報開示と保留] に移動します。
- 検索を選択し、[ PST ファイルにエクスポート] を選択します。
- 電子情報開示 PST エクスポート ツールで、ダウンロード場所を選択します。
- 必要に応じて、[重複除去を有効にする ] を選択してすべての結果を 1 つの PST ファイルに書き込み、[ 検索できない項目を含める] を選択します。
- [開始] を選択します。
企業のプロキシやファイアウォールは、エクスポートのダウンロードをブロックまたは調整する場合があります。関連する Microsoft エンドポイントをネットワーク許可リストに追加する必要がある場合があります。
PST ファイルをアップロードする
前提条件
- Communications Mining CLI がインストールされます。詳しくは、「 CLI」をご覧ください。
- Communications Mining エンドポイントに対してコンテキストが設定されている詳しくは、「 CLI を設定する」をご覧ください。
- 前のセクションで説明したように、PST ファイルが Exchange からエクスポートされます。
- 対象となるプロジェクトでバケットとソースを作成する権限を持っている。
メールをアップロードすると AI ユニットまたはプラットフォーム ユニットが消費されるため、CLI はアップロードを開始する前に請求に同意するよう求めるメッセージを表示します。ドライ ランでは何も消費されませんが、プロンプトは表示されます。無人実行またはスクリプト実行でプロンプトを抑制するための --yes を追加します。
手順
-
メール用のバケットを作成します。プロジェクト名とバケット名で使用できるのは、文字、数字、ハイフン、アンダースコアのみです。
re -c <context> create bucket <ProjectName>/<BucketName>re -c <context> create bucket <ProjectName>/<BucketName> -
ユニットを消費する前に、PST ファイルが解析されることを確認してください。
re -c <context> parse pst --bucket <ProjectName>/<BucketName> --file <PathToPst> --dry-runre -c <context> parse pst --bucket <ProjectName>/<BucketName> --file <PathToPst> --dry-runコマンドは、ファイル全体を読み取り、何もアップロードせずに解析エラーを報告します。個別のエラーそれぞれ
No parse errors foundまたは内訳、および影響を受けたメールの数が出力されます。 -
PST ファイルをバケットにアップロードします。
re -c <context> parse pst --bucket <ProjectName>/<BucketName> --file <PathToPst> --resume-on-errorre -c <context> parse pst --bucket <ProjectName>/<BucketName> --file <PathToPst> --resume-on-error--resume-on-errorフラグは、処理できないメールをスキップしてカウントします。タイムアウトが設定されていない場合、最初に失敗したメールは実行全体を中止します。
これで、メールがバケットに追加されました。トレーニングに利用できるようにするには、バケットからソースを作成し、そのソースをデータセットに追加します。
アップロードのオプションと動作
- コマンドごとに 1 つの PST ファイル。
--fileフラグは 1 つのパスを取ります。シェルでループして、複数の PST ファイルをアップロードします。 - プラットフォームのメールボックス名は、拡張子を含む PST ファイルのファイル名です。
export (1).pstという名前のファイルを作成すると、ユーザーに表示されるexport (1).pstという名前のメールボックスが生成されます。アップロードする前に、ファイルの名前を意味のある名前に変更します。 - 大きな PST ファイルの起動が遅くなります。CLI はアップロードを開始する前にファイル内のすべての項目をカウントするため、ファイルは 2 回読み取られ、進行状況バーが表示されるまでに時間がかかります。実行を停止しないでください。
--num-threads効果はありません。re parse pstコマンドは、設計上シングルスレッドです。- 同じ PST ファイルを同じバケットに再実行すると、べき等になります。各メールの
Message-IDヘッダーがキーに設定され、アップロードは更新/挿入であるため、アップロードに失敗したり中断されたりした後に再実行しても安全です。 - 障害を診断するときに
--resume-on-errorをドロップします。その後、CLI は最初の失敗で停止し、理由を報告します。
バケット、ソース、データセット
メールがプラットフォーム内をどのように移動するかを理解することで、コメントが重複する最も一般的な原因であるのを防ぐことができます。
- バケットには未加工のメールが格納されます。ここに PST および Exchange メールが到着します。
- ソースはバケットから作成されます。メールはバケットからソースに同期され、そこでコメントに変換されます。
- データセットとは、トレーニングの対象です。1 つ以上のソースが含まれています。
ベスト プラクティスとして、1 つのバケットを 1 つのソースにアタッチし、各ソースは 1 つのメソッド (バケットまたは API) のみで設定します。同じバケットを 4 つのソースにアタッチすると、すべてのメールが 4 つのソースすべてで複製されます。
ソースの作成について詳しくは、「 GUI でデータ ソースを作成または削除する」をご覧ください。
Exchange との連携も使用する場合のメールが重複する
Communications Mining では、メールの Message-ID ヘッダーの重複が排除され、アップロードは更新/挿入になります。したがって、PST ファイルでバックフィルしてから Exchange との連携を有効化しても、コメントが重複することはありません。電子メールを共有する 2 つの PST ファイルも、両方に同じ Message-IDが記載されている場合、2 倍になりません。重複がある場合は、バケットがアタッチされているソースの数を確認します。
トラブルシューティング
| 症状 | 原因と解決策 |
|---|---|
すべてのメールが解析に失敗します ( Total emails: 304 / failed to parse: 304 / uploaded: 0例: )。 | PST ファイルは Outlook からエクスポートされました。これはサポートされていません。Exchange からファイルを再エクスポートします。 |
| 一部のメールは失敗し、その理由が明確ではありません。 | --resume-on-errorせずにアップロードを再実行し、CLI が最初の失敗で停止して理由を出力するようにします。--dry-runは、アップロードせずにファイル全体で同じエラーを報告します。 |
| PST ファイルが破損しているかどうかを知る必要があります。 | CLI がファイルを開いてその項目を反復処理できる場合は、代わりに解析レベルの原因を探します。ファイルをまったく読み取れない場合は、再度ダウンロードして、ローカル ファイル サイズがソースと一致していることを確認します。部分的なダウンロードは、破損したファイルに似ています。 |
| CLI で報告されるメールの数はデータセットに含まれる数よりも多くなります。 | PST ファイルには重複する Message-ID 値が含まれており、アップロード時に重複が排除されます。何が重複排除されたかについてのレポートはありません。確認するには、ファイル内の一意の Message-ID 値をカウントします。 |
| アップロードを実行する前に、RTF のみのメールを見つける必要があります。 | これは事前に検出できません。--dry-run を使用してアップロードを実行し、報告されたエラーを読み取ります。 |
| アップロードが停止したようです。 | 大きな PST ファイルでは、CLI はアップロード前にすべての項目をカウントするため、最初に長い静かなフェーズがあります。実行が本当にスタックしている場合は、マシンにリソースの制約がないことを確認し、同期されたクラウド ストレージ フォルダーの外部のローカル パスに PST ファイルをコピーします。 |
| メールには文字化けしたテキストが表示されます。 | UTF-8 以外の文字セット (日本語の ISO-2022-JP や中国語など) の既知の制限です。HTML 本文は警告なしに破損しているため、 --dry-run からは報告されません。回避策はありません。 |
re create bucket または、 re parse pst が を返 Unknown contextか、誤ったテナントをターゲットにします。 | すべてのコマンドには、コンテキスト re -c <context>が必要です。-cフラグは、組織やテナントの文字列ではなく、保存済みのコンテキストの名前を取ります。re config parse-from-url で作成したコンテキストの名前は <organization>/<tenant>で、re config add --name production で作成したコンテキストの名前は productionです。保存したコンテキストを で一覧表示 re config ls。 |
| アップロードによって確認を求められ、スクリプト化された実行がブロックされます。 | プロンプトは、AI ユニットまたはプラットフォーム ユニットの請求に対する同意です。を追加します --yes。 |
| CLI がプラットフォームに到達できません。 | ネットワークはエグレスをフィルタリングしています。プラットフォームと CLI エンドポイントを許可リストに追加するか、アクセス権を持つマシンから CLI を実行します。 |
| 一部のメールがアップロードされませんでした。 | ある程度は期待できます。エクスポートが Exchange からのものであること、 --resume-on-error が使用されたことを確認し、失敗カウンターを確認します。下書き、予定表アイテム、連絡先は失敗としてカウントされます。 |
問題がリストにない場合は、 UiPath® サポート チケットを送信してください。