フル パイプライン

フル パイプラインでは、トレーニング パイプラインと評価パイプラインを一緒に実行します。

重要:

Minimal dataset size For successfully running a Training pipeline, we strongly recommend at least 25 documents and at least 10 samples from each labeled field in your dataset. Otherwise, the pipeline throws the following error: Dataset Creation Failed. **

Training on GPU vs CPU**

• データセットが大きい場合は、GPU を使用してトレーニングする必要があります。GPU (AI Robot Pro) を使用すると、CPU (AI Robot) を使用するよりも 10 倍以上高速になります。
• CPU を使用したトレーニングは、ML パッケージ v21.10.x では最大 5000 ページのデータセット、その他のバージョンの ML パッケージでは最大 1000 ページのデータセットでのみサポートされています。
• CPU を使用したトレーニングは v2021.10 より前は 500 ページに制限されていましたが、v2021.10 で 5000 ページに増量されました。なお、v2022.4 では最大 1000 ページになります。

モデルのトレーニングと評価を同時に行う

トレーニング パイプラインを次のように設定します。

• [パイプラインの種類] フィールドで [フル パイプラインの実行] を選択します。

• [パッケージを選択] フィールドで、トレーニングおよび評価するパッケージを選択します。

• [パッケージのメジャー バージョンを選択] フィールドで、パッケージのメジャー バージョンを選択します。

• [パッケージのマイナー バージョンを選択] フィールドで、パッケージのマイナー バージョンを選択します。常にマイナー バージョンの 0 (ゼロ) を使用することを強くお勧めします。

• In the Choose input dataset field, select a representative training dataset.

• In the Choose evaluation dataset field, select a representative evaluation dataset.

• [パラメーターを入力] セクションに、お使いのパイプラインで定義され、使用される環境変数を入力します (存在する場合)。ほとんどのユース ケースではパラメーターを指定する必要がなく、モデルは高度な手法を使用して効率の良い構成を検出します。ただし、次のような環境変数を使用できます。

• model.epochs: トレーニング パイプラインのエポック数をカスタマイズします (既定値は 100)。

• GPU と CPU のどちらでパイプラインをトレーニングするかを選択します。[GPU を有効化] スライダーは既定で無効化されており、パイプラインは CPU でトレーニングされます。 トレーニングに GPU (AI Robot Pro) を使用すると、CPU (AI Robot) を使用するよりも 10 倍以上高速になります。また、CPU を使用したトレーニングでは、データセットの画像数が最大 1000 個までしかサポートされません。それより大きなデータセットの場合は、GPU を使用してトレーニングする必要があります。

• パイプラインの実行頻度として、[今すぐ実行]、[時間ベース]、[定期的] のいずれかのオプションを選択します。auto_retraining 変数を使用している場合は、[定期的] を選択します。

  

After you configure all the fields, select Create. The pipeline is created.

成果物

評価パイプラインの場合、[出力] ペインには、次の 2 つのファイルを含む [成果物]/[eval_metrics] フォルダーも含まれます。

• evaluation_default.xlsx: モデルにより予測された各フィールドのグラウンド トゥルース (正解) と予測値を比較したデータと、ドキュメントごとの精度メトリック (精度が低い順) を含む、Excel スプレッドシートです。最も精度の低いドキュメントが一番上に表示されるため、診断とトラブルシューティングをスムーズに進められます。

• evaluation_metrics_default.txt: 予測されたフィールドの F1 スコアが含まれます。

  明細項目の場合は、共に取得されたすべての列のグローバル スコアが取得されます。