トレーニングパイプライン

ヒント: AI Center サービスではなく Document Understanding^TM 製品を使用し、ワンクリック抽出機能とワンクリック分類機能を活用することで、抽出器や分類器をトレーニングしやすくなりました。

重要:

データセットの最小サイズ

トレーニングパイプラインの実行を成功させるには、少なくとも 10 個以上のドキュメントと、データセット内の各ラベル付きフィールドからの 5 件以上のサンプルを使用することを強く推奨します。そうしないと、パイプラインで「Dataset Creation Failed (データセットの作成に失敗しました。)」というエラーが発生します。

GPU または CPU でトレーニングする

データセットが大きい場合は GPU を使用してトレーニングする必要があります。GPU を使用すると、CPU を使用するよりも 10 倍以上高速になります。バージョンやインフラストラクチャに応じたデータセットの最大サイズについては、以下の表をご覧ください。

表 1. 各バージョンの最大データセット
インフラストラクチャ	<2021.10.x	2021.10.x	>2021.10.x
CPU	500 ページ	5,000 ページ	1000 ページ
GPU	18,000 ページ	18,000 ページ	18,000 ページ

サイズの大きいデータセットのトレーニング中にパイプラインが失敗する場合は、ML パッケージバージョン 24.4 以降にアップグレードすることをお勧めします。最新バージョンでは安定性が強化され、このような問題を大幅に軽減できます。

データセットの構造について詳しくは、「データセットの形式」セクションをご覧ください。

ML モデルをトレーニングする方法は 2 つあります。

モデルをゼロからトレーニングする
すぐに使えるモデルを再トレーニングする

モデルをゼロからトレーニングするには DocumentUnderstanding (ドキュメントの理解) ML パッケージを使用します。トレーニングには、入力データとして提供するデータセットを使用します。

モデルを再トレーニングするには、すぐに使える ML パッケージを使用します。たとえば、Invoices (請求書)、Receipts (領収書)、Purchase Orders (発注書)、Utility Bills (公共料金請求書)、Invoices India (請求書 - インド)、Invoices Australia (請求書 - オーストラリア) などがあります。基本的に、DocumentUnderstanding (ドキュメントの理解) を除くすべてのデータ抽出 ML パッケージが利用可能です。これらのパッケージのいずれかを使用したトレーニングでは、入力データの 1 つとしてベースモデルも利用できます。ゼロから開始するのではなくベースモデルを利用するため、このようなトレーニングを再トレーニングと呼びます。このアプローチでは「転移学習」と呼ばれる手法を用いており、モデルが別の既存モデルでエンコードされた情報を活用します。モデルはすぐに使える知識をいくつか保持していますが、新しいデータからも学習します。これは主に小規模から中規模のトレーニングデータセット (最大 500 から 800 ページ) に言えることであり、トレーニングデータセットのサイズが大きくなればなるほど事前トレーニング済みのベースモデルの活用度は下がります。

トレーニングパイプラインを次のように設定します。

[パイプラインの種類] フィールドで [トレーニングの実行] を選択します。
[パッケージを選択] フィールドで、DocumentUnderstanding (ドキュメントの理解) ML パッケージに基づいて作成したパッケージを選択します。
[パッケージのメジャーバージョンを選択] フィールドで、パッケージのメジャーバージョンを選択します。
[パッケージのマイナーバージョンを選択] フィールドで、パッケージのマイナーバージョンを選択します。詳しくは、以下の「マイナーバージョンを選択する」のセクションをご覧ください。
このページの下のビデオに示すように、[入力データセットを選択] フィールドでデータセットを選択します。高品質のトレーニングデータセットを構築するには、こちらのチュートリアルをご覧ください。
[パラメーターを入力] セクションに、パイプラインで定義され、使用される環境変数を入力します (存在する場合)。ほとんどのユースケースではパラメーターを指定する必要がなく、モデルは高度な手法を使用して効率の良い構成を検出します。ただし、次のような環境変数を使用できます。
auto_retraining: 自動再トレーニングループを完了できます。変数が True に設定されている場合は、データがタグ付けされたラベル付けセッションに関連付けられている export フォルダーを入力データセットとする必要があります。変数が False に設定されたままである場合は、入力データセットがこちらのデータセットフォーマットに対応している必要があります。
model.epochs: トレーニングパイプラインのエポック数をカスタマイズします (既定値は 100)。 Optional
注: 5,000 ページを超えるサイズの大きいデータセットの場合、最初に既定のエポック数でフルパイプラインを実行できます。こうすることでモデルの精度を評価できます。その後、エポック数を 30〜40 程度まで減らすことができます。この方法により、結果の精度を比較して、エポックを削減しても同等の適合率が得られるかどうかを判断できます。
サイズの小さいデータセット、特に 5,000 ページ未満のデータセットを使用する場合は、既定のエポック数を維持できます。
ML パッケージ v23.4 以降の場合、400 ページ未満のデータセットでのトレーニングには Frozen Backbone (フリーズしたバックボーン) というアプローチを使用して、トレーニングの高速化とパフォーマンスの向上を図ります。ただし、この動作を上書きして、小さいデータセットにフルトレーニングを強制することも、逆に大きいデータセット (最大 3000 ページ) に Frozen Backbone (フリーズしたバックボーン) のトレーニングを強制することもできます。以下の環境変数を使用し、使用中にこれらを結合する条件を設定できます。1 つ目と 2 つ目の変数、または 1 つ目と 3 つ目の変数を同時に使用できます。Optional。
- model.override_finetune_freeze_backbone_mode=True - 既定の動作を上書きするには、この環境変数を含めます。次のどちらの状況でも必要です。
- model.finetune_freeze_backbone_mode=True - 大きいデータセットにも Frozen Backbone を使用するようにモデルに強制するには、この環境変数を含めます。
- model.finetune_freeze_backbone_mode=False - 小さいデータセットにもフルトレーニングを使用するようにモデルに強制するには、この環境変数を含めます。
GPU と CPU のどちらでパイプラインをトレーニングするかを選択します。[GPU を有効化] スライダーは既定で無効化されており、パイプラインは CPU でトレーニングされます。
パイプラインの実行頻度として、[今すぐ実行]、[時間ベース]、[定期的] のいずれかのオプションを選択します。auto_retraining 変数を使用している場合は、[定期的] を選択します。
すべてのフィールドを設定したら、[作成] をクリックします。パイプラインが作成されます。

以下に、以前に AI Center にエクスポートしたデータセットを使用して新しいトレーニングパイプラインを作成する場合の例を示します。

マイナーバージョンを選択する

ほとんどの場合、マイナーバージョン 0 を選択する必要があります。これは、トレーニングデータセットが大きくて多様であるほど、モデルのパフォーマンスが向上するためです。この原則は、現在の最先端のマシンラーニングテクノロジの目標と一致します。すなわち、サイズが大きく高品質な、代表性の高いトレーニングセットを使用するという目標です。したがって、モデルのトレーニングデータが蓄積されていくのに応じて、同じデータセットにデータを追加し、モデルのパフォーマンスをさらに向上させる必要があります。

ただし、0 以外のマイナーバージョンでトレーニングすることが理にかなっている場合もあります。これは一般的に、パートナーが同じ業界の複数の顧客にサービスを提供する必要があるにもかかわらず、その業界、地域、ドキュメントの種類に最適化された事前トレーニング済みのモデルが UiPath® から提供されていない場合にあてはまります。

このような場合、パートナーは、その業界のさまざまなドキュメントサンプルを使用して、事前トレーニング済みのモデルを開発できます (般化能力を向上させるために、1 つのソースではなく多数のソースのドキュメントサンプルを使用します)。このモデルをベースモデルとして使用し、ML パッケージのバージョン 0 でトレーニングされた特定の顧客モデルをトレーニングします。バージョン 1 などの以降のバージョンは、事前トレーニング済みのモデルを改良したり、顧客固有のモデルを作成したりするために使用します。

ただし、良好な結果を得るには、事前トレーニング済みのモデルに偏りがなく、極めて多様性の高いトレーニングセットに基づいている必要があります。ベースモデルが特定の顧客向けに最適化されている場合、他の顧客では良好なパフォーマンスが得られない可能性があります。このような場合は、ゼロのマイナーバージョンをベースモデルとして使用すると、より良好な結果が得られます。