成果物

Evaluation report

評価レポートは、以下の情報を人間が読める形式で記載した PDF ファイルです。

• クラスごとの n-gram
• Precision-recall diagram
• 分類レポート
• 混同行列
• ハイパーパラメーター検索に最適なモデル パラメーター

クラスごとの n-gram

このセクションには、モデルによるそのクラスの予測に影響を与える上位 10 件の n-gram が含まれています。モデルのトレーニングに使用されたクラスごとに別々の表があります。

適合率と再現率の図

この図と表を使用して、適合率と再現率のトレードオフやモデルの F1 スコアを確認できます。しきい値とその値に対応する適合率および再現率の値は、この図の上にある表にも記載されています。この表でワークフローで設定するしきい値を選択し、Action Center にデータを送信して人間参加型の検証を行うべきシナリオを決定できます。選択したしきい値が大きければ大きいほど、人間参加型の検証を行うために Action Center に送信されるデータの量が増加します。

適合率と再現率の図はクラスごとに用意されています。

適合率と再現率の図の例は以下のとおりです。

適合率と再現率の表の例は以下のとおりです。

適合率	再現率	しきい値
0.8012232415902141	0.6735218508997429	0.30539842728983285
0.8505338078291815	0.6143958868894601	0.37825683923133907
0.9005524861878453	0.4190231362467866	0.6121292357073038
0.9514563106796117	0.2519280205655527	0.7916427288647211

分類レポート

分類レポートには次の情報が含まれています。

• Label - テスト セットのラベルです。
• Precision - 予測の適合率です。
• Recall - 取得された関連インスタンスです。
• F1 score - 適合率と再現率の調和平均です。このスコアを使用して 2 つのモデルを比較できます。
• Support - テスト セットに特定のラベルが出現する回数です。

分類レポートの例については、以下の表をご覧ください。

ラベル	適合率	再現率	F1 スコア	サポート
0.0	0.805	0.737	0.769	319
1.0	0.731	0.812	0.77	389
2.0	0.778	0.731	0.754	394
3.0	0.721	0.778	0.748	392
4.0	0.855	0.844	0.85	385
5.0	0.901	0.803	0.849	395

混同行列

ハイパーパラメーター検索に最適なモデル パラメーター

[BOW.hyperparameter_search.enable 変数が True に設定されている場合、アルゴリズムで選択された最適なモデル パラメーターがこの表に表示されます。ハイパーパラメーター検索ではカバーされないさまざまなパラメーターを使用してモデルを再トレーニングするには、環境変数でこれらのパラメーターを手動で設定することもできます。詳しくは、こちらをご覧ください。

このレポートの例を以下の表に示します。

名前	値 (Value)
BOW.ngram_range	(1, 2)
BOW.min_df	2
BOW.lr_kwargs.class_weight	balanced
dataset.text_pp_remove_stop_words	True

ハイパーパラメーター検索レポート

このレポートは、BOW.hyperparameter_search.enable パラメーターが True に設定されている場合にのみ生成される PDF ファイルです。任意の変数に最適な値と結果を表す図が含まれています。

JSON ファイル

評価レポートの PDF ファイルの各セクションに対応する、個々の JSON ファイルを利用できます。これらの JSON ファイルはマシンによる読み取りが可能であるため、ワークフローを使用してモデルの評価を Insights に追加できます。