Measure

You can check the overall status of your project and check the areas with improvement potential from the Measure section.

プロジェクトの評価

The main measurement on the page is the overall Project score.

This measurement factors in the classifier and extractor scores for all document types. The score of each factor corresponds to the model rating and can be viewed in Classification Measure and Extraction Measure respectively.

モデルの評価は、分類モデルのパフォーマンスを視覚化するのに役立つ機能です。評価は、次のように 0 から 100 までのモデルのスコアとして表されます。

• 不良 (0-49)
• 平均的 (50-69)
• 良好 (70-89)
• 優秀 (90-100)

モデルのスコアに関係なく、トレーニングを停止するタイミングはプロジェクトのニーズに応じてユーザーが決定します。モデルが「優秀」と評価されていても、すべてのビジネス要件を満たすとは限りません。

分類の評価

分類スコアでは、モデルのパフォーマンスに加えてデータセットのサイズと品質も考慮されます。

注:

The Classification score is only available if you have more than one document type created.

If you select Classification, two tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size or trained model performance for each document type.
• Metrics: Provides useful metrics, such as the number of train and test documents, precision, accuracy, recall, and F1 score for each document type.

抽出の評価

The Extraction score factors in the overall performance of the model as well as the size and quality of the dataset. This view is split into document types. You can also go straight to the Annotate view of each document type by selecting Annotate.

If you select any of the available document types from the Extraction view, three tabs are displayed on the right side:

• Factors: Provides recommendations on how to improve the performance of your model. You can get recommendations on dataset size (number of uploaded documents, number of annotated documents) or trained model performance (fields accuracy) for the selected document type.
• Dataset: Provides information about the documents used for training the model, the total number of imported pages, and the total number of labelled pages.
• Metrics: Provides useful information and metrics, such as the field name, the number of training status, and accuracy for the selected document type. You can also access advanced metrics for your extraction models using the Download advanced metrics button. This feature allows you to download an Excel file with detailed metrics and model results per batch.

データセット診断

The Dataset tab helps you build effective datasets by providing feedback and recommendations of the steps needed to achieve good accuracy for the trained model.

管理バーに表示されるデータセットのステータス レベルには、以下の 3 種類があります。

• 赤 - ラベル付けされたトレーニング データの追加が必要です。
• オレンジ - ラベル付けされたトレーニング データの追加が推奨されます。
• 緑 - ラベル付けされたトレーニング データが必要量に達しています。

セッションでフィールドが作成されていない場合は、データセットのステータス レベルは灰色になります。

モデルを比較

You can compare the performance of two versions of a classification or extraction model from the Measure section.

分類モデルの比較

To compare the performance of two versions of a classification model, first navigate to the Measure section. Then, select Compare model for the classification model you are interested in.

各列の上部にあるドロップダウン リストから、比較するバージョンを選択できます。既定では、現在のバージョン (利用可能な最新バージョンを示します) が左側で選択され、最新のパブリッシュ済みのバージョンが右側で選択されます。

Figure 1. Classification model comparison

分類モデルの比較は、以下の 4 つの主要なメトリックに依存します。

• 適合率: 陽性と予測されたインスタンスの合計数に対する、正しく予測された陽性のインスタンスの割合です。適合率の高いモデルでは偽陽性が少なくなります。
• 精度: インスタンスの合計数のうちの、正しい予測数 (真陽性と真陰性の両方を含む) の割合です。
• 再現率: 正しく特定された実際の陽性のケースの割合です。
• F1 スコア: 適合率と再現率の調和平均です。上記の 2 つのメトリックのバランスを取ることを目的としています。偽陽性と偽陰性のトレードオフとして機能します。

The order of document types displayed is the one used in the latest version from the comparison. If a document type is not available in one of the compared versions, the values for each measure are replaced with N/A.

注:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

抽出モデルの比較

To compare the performance of two versions of an extraction model, first navigate to the Measure section. Then, select Compare model for the extraction model you are interested in.

各列の上部にあるドロップダウン リストから、比較するバージョンを選択できます。既定では、現在のバージョン (利用可能な最新バージョンを示します) が左側で選択され、最新のパブリッシュ済みのバージョンが右側で選択されます。

Figure 2. Extraction model comparison

抽出モデルの比較は、以下の主要なメトリックに依存します。

• フィールド名: アノテーション フィールドの名前です。
• コンテンツの種類: フィールドのコンテンツの種類です。
  • 文字列
  • Number
  • 日付
  • 電話番号
  • ID 番号
• 評価: 抽出フィールドのパフォーマンスを視覚化するのに役立つ、モデルのスコアです。
• 精度: モデルが行う予測の合計数のうちの、正しいものの割合です。

The order of field names displayed is the one used in the latest version from the comparison. If a field name is not available in one of the compared versions, the values for each measure are replaced with N/A.

注:

If a field was removed in the current version but it was available in the older version before the Compare model feature was available, the name is replaced with Unknown.

You can also compare the field score for tables from the Table section.

You can download the advanced metrics file for each version from the comparison page from the Download advanced metrics button.