生成された抽出データを検証してアノテーションを行う

概要

このセクションでは、抽出でフィールドの予測を検証する方法について説明します。

抽出には、次の種類があります。

• 生成された抽出 - モデルは、指定した入力に基づいて抽出を予測します (つまり、[ 抽出を予測 ] オプションを選択した場合にラベル、注釈)。
• 手動で作成された抽出 - モデルがまだ予測していなかった特定のラベルの抽出フィールドを作成できます。

モデルが検証の統計情報を返すことができるように、十分な例を提供してください。検証の統計情報は、抽出のパフォーマンスを理解するのに役立ちます。また、抽出を微調整することもできます。

微調整すると、収集したアノテーションを使用して抽出モデルのパフォーマンスを向上させることができます。また、すぐに使えるモデルを使用して、ユース ケースのパフォーマンスを向上させることもできます。

注:

• ラベルのトレーニングを停止するタイミングを指定できます
• 抽出のパフォーマンス要件は、ユース ケースによって異なります。

大事な： ベスト プラクティスとして Preview LLMを使用する場合は、各フィールドの例が 25 個になったら、それ以上例のアノテーションを行うのをやめます。 コンテキスト内の学習と検証にはこれで十分であり、例を増やしてもパフォーマンスは向上しません。

抽出結果を確認し、状況に応じて以下のアクションのいずれかを選択できます。

• 抽出がすべて正しければ、抽出を受け入れます。
• 誤った予測がある場合は、抽出データを修正します​。
• 抽出データがメッセージに存在しない場合は、存在しないとしてマークします​。
• エンドツーエンドで自動化するために必要なフィールドが存在しない場合は、それらのフィールドを追加で設定します。

アノテーションを停止できるタイミング

検証プロセスで使用するモデルのラベル抽出の例を少なくとも 25 件提供したら停止します。検証結果を確認し、パフォーマンスが十分かどうか、またはさらに例が必要かどうかを確認します。

[探索] タブで抽出結果を検証する

概要

#​	説明​
1​	フィールドの予測がすべて正しい場合は、[すべて確認] を選択して、アノテーションが正しいことを一括で確認します。
2​	新しい抽出フィールドを追加するには、[一般フィールド] の横またはいずれかの抽出フィールドの横にあるプラス ボタンを選択します。既存のフィールドを編集するには、[一般フィールド] の横またはいずれかの抽出フィールドの横にある縦三点リーダー ボタンを選択します。
3​	サイド パネルで、予測された抽出データの横にあるボックスをオンにすると、フィールドのアノテーションが正しいことが抽出レベルで確認されます。
4​	各フィールドの下で、モデルによって予測されたデータ ポイントを確認できます。 予測が正しくない場合は、[x] ボタンを選択してフィールドの予測が正しくなるよう調整します。
5​	予測されたデータ ポイントは、元のメッセージ内でマークされます。 アイコンは、メッセージに一般フィールドが存在することを示します。​ アイコンは、メッセージに抽出フィールドが存在することを示します。​
6​	フィールドを追加または変更するには、該当の [一般フィールド] または [抽出フィールド] セクションで、[+] ボタンの横にカーソルを合わせます。
7​	一般フィールドまたは特定の抽出フィールドに表示されるフィールドを展開するには、ドロップダウン ボタンを選択します​。

抽出結果を検証する

抽出データを検証するには、以下の手順を実行します。

1. データセットの横にある [探索] を選択して、その特定のデータセットにアクセスします。
2. [探索] タブで [フィールドのアノテーションを行う] を選択します。
3. サイド パネルで、[抽出データを予測] ボタンを選択します。
4. 同じサイド パネルに、赤または緑の円でマークされた一致インジケーターがモデルの予測の横に表示されます。
   
   注: 一致インジケーターは、ユーザーが抽出フィールドに対して行ったアノテーションとモデルの予測が一致するかどうかを示します。インジケーターは、赤または緑の円で抽出フィールド レベルおよび抽出データ レベルでユーザー インターフェイスにマークされます。値が一致しない場合は、値が一致しないか欠落しています。最新のモデルの予測を再実行して、指定したアノテーションと一致するかどうかを確認できます。

   一致インジケーターによって返される可能性のあるステートは次のとおりです。

   • 緑 - 予測はアノテーションと一致します。すべての抽出フィールドに緑色のインジケーターが付いている場合にのみ、抽出レベルで表示されます。
   • 赤 - 予測がアノテーションと一致しないか、予測にアノテーションが欠落しています。抽出データ内のいずれかのフィールドに赤色のインジケーターが付いている場合に、抽出レベルで表示されます。

未確認ステートの抽出

以下の図は、未確認ステートの抽出データの外観を示しています。右側のペインでは、抽出は未確認としてマークされ、テキスト自体は明るい色で強調表されます。

注: ​[一般フィールド] についても、上記同様です。

確認済みステートの抽出

以下の図は、確認済みステートのフィールドの外観を示しています。右側のペインでは、抽出データは確認済みとしてマークされ、テキスト自体は濃い色で強調表示されます。

注: [一般フィールド] についても、上記同様です。

[トレーニング] タブで抽出結果を検証する

注: [トレーニング] タブの [抽出] はパブリック プレビューの段階です。

[トレーニング] タブでの抽出データの検証は、[探索] タブの場合と同様の方法で行います。

抽出データを検証するには、以下の手順を実行します。

1. データセットの横にある [トレーニング] を選択して、その特定のデータセットにアクセスします。
2. [トレーニング] タブで [抽出] を選択します。
3. 検証するラベルの抽出データを選択します。
   
   

   

   
   
4. 表示されたメッセージがラベルの適用可能な例であるかどうかを確認します。
5. 適用可能なラベルをすべて適用したら、[次: フィールドのアノテーションを行う] を選択します。
   
   

   

   
   
6. 次のページでは、赤または緑の円でマークされた一致インジケーターがモデル予測の横に表示されます。
   注: 一致インジケーターは、ユーザーが抽出フィールドに対して行ったアノテーションとモデルの予測が一致するかどうかを示します。インジケーターは、赤または緑の円で抽出フィールド レベルおよび抽出データ レベルでユーザー インターフェイスにマークされます。値が一致しない場合は、値が一致しないか欠落していることがわかります。最新のモデルの予測を再実行して、指定したアノテーションと一致するかどうかを確認できます。

   一致インジケーターによって返される可能性のあるステートは次のとおりです。

   • 緑 - 予測はアノテーションと一致します。すべての抽出フィールドに緑色のインジケーターが付いている場合にのみ、抽出レベルで表示されます。
   • 赤 - 予測がアノテーションと一致しないか、予測にアノテーションが欠落しています。抽出データ内のいずれかのフィールドに赤色のインジケーターが付いている場合に、抽出レベルで表示されます。
7. [すべて確定して次へ] を選択すると、次のメッセージが表示されて自動的にアノテーションが行われます。