Communications Mining
最新
バランスを改善して「リバランス」を使用する - Automation Cloud 最新
Banner background image
ロゴ
Communications Mining ガイド
最終更新日 2024年2月8日

バランスの改善と「リバランス」の使用

必要なユーザー権限: 「ソースの表示」および「レビューとラベル付け」。

「バランス」とは何ですか、なぜそれが重要なのですか?

[検証] の [モデルの評価 ] に表示される バランス の評価は、データセット全体と比較した場合に、データセット内のレビュー データ (つまり、トレーニング データ) のバランスがどの程度あるかを反映します。

これには、以下を含む多くの要因が考慮されます(以下を参照)。

  • レビュー済みデータと 未レビュー 済みデータの類似性 (パーセンテージ スコアで表示)
  • 無作為抽出 によって レビュー されたレビュー済みデータの割合(例:「シャッフル」モード)
  • リバランス 」を使用して レビュー されたデータの割合(詳細は以下を参照)
  • テキスト検索 」の使用中に レビュー されたデータの割合
モデル評価の「バランス」コンポーネントの例

ランダム サンプリングによってレビューされたデータの割合が高く (理想的には 20%+)、検索を使用してラベル付けされたレビュー済みデータの割合が低いことが重要です。

ただし、バランス評価は、レビュー されていないデータとレビューされたデータの 類似 性を測定する類似性スコア の影響を 最も強く受け ます。

この 類似性スコア は、レビュー済みの データと未レビューのデータを 比較 して、 ラベル付けされたデータがデータセット全体を代表する ものであることを確認する独自の ラベリングバイアスモデル によって計算されます。データが代表的ではなく、偏った方法でラベル付けされている場合、モデルのパフォーマンス測定値は誤解を招き、信頼性が低い可能性があります。

プラットフォームでのラベル付けバイアスは、通常、特に「テキスト検索」が使用されすぎて「シャッフル」モードが十分でない場合、ラベルの割り当てに使用されるトレーニングモードの不均衡の結果です。ただし、「シャッフル」モードの割合が高い場合でも発生する可能性があります。 「ラベルを教える」などのモードで特定のラベルをトレーニングすると、当然、レビューされたデータにわずかな不均衡が生じる可能性があります。 このプラットフォームは、これがいつ発生するか を特定し迅速かつ効果的な方法で対処するのに役立ちます。

「リバランス」とは何ですか、またどのように使用しますか?

リバランス」は、モデルのラベル付け方法の潜在的な不均衡、つまりラベル付けバイアスを減らすのに役立つトレーニングモードです。

リバランス」トレーニングモードでは、レビューされたセットで過小評価されている逐語的が表示されます。

このモードで表示される逐語的なラベル付け (他のトレーニング モードの場合と同様) は、トレーニング データの 不均衡に対処 、モデルのバランス スコアを向上させるのに役立ちます。

トップチップ: リバランスは通常、ほとんど頻繁に使用する場合に最も効果的です。 このモードで少数の逐語的表現 (10 から 20 の間) にラベル付けし、モデルを再トレーニングしてから更新してさらに例にラベルを付けることが、モデルのバランススコアに与える影響を最大化する最善の方法です。

デモデータセットの「再調整」トレーニングモード

類似性スコア が高い にもかかわらず バランス レーティング が低い場合は、「 シャッフル」モードで十分な数のトレーニング データをラベル付け していない可能性があります。この場合、プラットフォームは、 逐語的なランダム選択を優先 的な推奨アクションとしてラベル付けすることを提案します。 このモードでのトレーニングにより、データセットが偏った方法でラベル付けされていないこと、およびトレーニング データが代表的なサンプルであるという確信がプラットフォームに追加されます。

どのくらいの「リバランス」を使用すればよいですか?

引き続き [再調整] を繰り返し使用してモデルの 類似性スコア を向上させると、「バランス」の評価が上がります。

検証で「良い」の評価に達したら、「再調整」でのトレーニングを中止する前に、 類似性スコア をどれだけ高めるかはユーザーの自由です。

この評価を可能な限り最適化することを目指すことができますが、継続的なトレーニングは常にリターンが減少するケースになります。 「良い」評価は、通常、良いモデルのパフォーマンスの許容レベルと見なす必要があります。

Support and Services icon
サポートを受ける
UiPath Academy icon
RPA について学ぶ - オートメーション コース
UiPath Forum icon
UiPath コミュニティ フォーラム
UiPath ロゴ (白)
信頼とセキュリティ
© 2005-2024 UiPath. All rights reserved.