人間参加型のデータのラベル付け機能を使用する

データのラベル付け機能を使用すると、生データをアップロードしたり、ラベル付けツールでテキスト データに注釈を付けたり (分類またはエンティティ認識の場合)、ラベル付けされたデータを使用して ML モデルをトレーニングしたりできます。他にも、人間がモデルの出力を検証するときにデータのラベル付けを使用することもできます。

一般的には、抽出器または分類器モデルをトレーニングする場合が考えられます。モデルの予測が設定された信頼度のしきい値を下回った場合は、そのデータを Action Center に送信して人間が検証することができます。検証済みデータを使用してモデルを再トレーニングすることで、以降のモデル予測の信頼度を高めることができます。

人間による検証を有効化する

1. Studio から Action Center でタスクを作成するには、[外部タスクの完了を待機して再開] アクティビティを使用します。

2. モデルの出力をデータのラベル付けに対応した形式に変換するには、[ラベル付けタスクを作成] アクティビティと [外部タスクを作成] アクティビティを使用します。

   データのラベル付け機能は、JSON 形式のファイルをサポートしています。JSON ファイルには、前の手順で設定した構造が含まれるデータ オブジェクトが含まれる必要があります。

3. タスクを人間がレビューするよう送信します。人間がタスクをレビューして完了すると、 タスク オブジェクトが 人間によるレビューの出力で更新されます。

4. タスク オブジェクトを、モデルがトレーニング データとして使用可能な形式に変換します。

5. [ファイルをアップロード] アクティビティを使用して、検証済みのデータをトレーニング データとして AI Center データセットに送信します。

6. アップロードされたデータセットを使用してパイプラインの実行を開始します。

このサンプル ワークフローは、次の手順に従って人間参加型のプロセス全体を完了します: 生データ > データのラベル付け > ML モデルのトレーニング > ML スキルのデプロイ > 信頼度の低い予測に対する人間参加型のトリガー > 検証済みデータを使用したモデルの再トレーニングによるモデルのパフォーマンスの向上。

このサンプル ワークフローを使用して、人間参加型のシーケンスをテストできます。