データの読み込み

データ型と列数がコネクタの読み込み時間に与える影響を理解することにより、スタンドアロンの Process Mining でのデータ読み込みパフォーマンスを最適化します。

はじめに

コネクタへのデータの読み込み

データの読み込みとは、 コネクタに新しいデータを読み込むのに必要な時間を指します。これは、データベースから読み込むときの列数によって決まります。

一部の種類のデータは、他の種類よりも読み込み速度が高速です。 大まかな意味では、次のような順序があります。

1. ODBC: ドライバーとデータベースによっても異なります。
2. フラット ファイル: csv’sします。
3. Excel: Excel で使用するためのオーバーヘッドが含まれるため、読み込み速度が低下します。 可能であれば、Excel ファイルの代わりにテキスト ファイルを使用します。 テキスト ファイルの処理速度が大幅に向上しました。

マルチファイルスクリプトは、異なるフラットファイルをすべて一緒に解析するのは非常に遅く、可能であれば避けるべきです。 また、膨大な量のデータを読み込む API の使用を避けます。

アプリケーションへのデータの読み込み

データは、次の方法で読み込むことができます。

• アプリケーションが起動したとき (ライブ データ)
• スケジュールされたデータ実行 (キャッシュデータ) の結果として
• ライブ データとキャッシュデータの組み合わせ (インクリメンタル ロード)。

ライブ データ

一般に、ライブ データは、特にデータの数が多い場合に、かなり遅くなります。 ライブ データでは、データへの継続的なアクセスも必要です。このデータは、運用環境の時間中に問題になる可能性があります。

一般的なガイドラインとして、ライブ データは 100,000 イベントを下回るようにすることをお勧めします。 実際のパフォーマンスは、データと使用されるデータ ソースによって大きく異なります。

フィルターの値に基づいてライブ データを取得できます。 フィルターを変更すると、新しいデータが要求されます。 パフォーマンスは、このようなユース ケースでは重要に考慮される必要があります。

ライブ テーブルは、ユーザーのログイン時またはフィルター コントロールの変更時に読み込まれます。 ライブ テーブルを使用すると、パフォーマンスが低下する問題が頻繁に発生します。 可能な場合は、キャッシュされたテーブルを使用することをお勧めします。

キャッシュされたデータ

キャッシュされるデータの場合、アプリケーションの起動時間は列数に依存しません。 データは事前計算されキャッシュされる際、要求されたときにキャッシュから直接読み込むことができます。 ソース システムからデータを抽出する際には、時間がかかる場合があります。 キャッシュの更新は、運用環境時間外などスケジュール設定することをお勧めします。

データは抽出されるだけでなく、 UiPath Process Mining の内部形式にも変換され、ユーザー入力に依存しないすべての計算がキャッシュされます。

ユーザー入力に依存する計算の場合、初期状態はキャッシュされます。 計算を変更するコントロールまたはフィルターをユーザーが変更すると、計算が再度実行されます。 この再計算を最小限に抑することは、アプリケーションの優れた設計において非常に重要です。

Incremental Load

既定では、 UiPath Process Mining はデータを増分読み込みません。ERPシステムのアイテムで突然変異が発生することが多いため、データのアーカイブは多くの場合、望ましいアプローチではありません。そのため、すべてのデータがシステムから読み込まれ、データ モデルに最新の変更が反映されます。

理論的には、増分データ読み込みは、アプリケーション開発者が設定できます。 この操作を行うには、新しいデータと、何をクエリにすべきかを判断するための十分な情報がデータベース内に含まれている必要があります。 パフォーマンスは慎重に検討する必要があります。 データの増分読み込みが必要な場合にのみ、使用することをお勧めします。

より適切な代替手段は、専用のツールを使用してソース システムからデータ レイク/ウェアハウスへの増分読み込みを実行し、 UiPath Process Mining からデータ レイク/ウェアハウスに対してクエリを実行する方法です。これにより、ソース システムへの影響を抑えることができ、 UiPath Process Mining 専用ではなく、組織全体で増分読み込みのメリットが共有されます。

外部スクリプト

UiPath Process Mining では、Python や R を使用したり、サンプルを使用したり、スクリプトでデータを読み込むことができます。これらのスクリプトは、実行する外部プログラムを呼び出し、この出力を再度読み取ることができます。UiPath Process Mining は、UiPath のプラットフォームとスクリプトの間のインターフェイスでサポートを提供します。UiPath Process Mining では、実際のスクリプトに関する問題をサポートしておらず、外部ツールの実行時間が長くなる可能性があります。

Solutions (ソリューション)

ドライバー

Windows Server 2016 用の MSSQL ODBC ドライバーの最新バージョンがインストールされていることを常に確認してください。

Debug Module

たとえば、読み込むデータを減らすことができない場合があります。入力データをまだフィルター処理できない場合。コネクタの入力量が多いと、反応に時間がかかる場合があります。開発をスピードアップするために、アプリケーションにモジュールを追加することができます。

モジュール コードを使用すれば、1 つのモジュールでのみデータが実際に読み込まれていることを確認し、もう一方のモジュールではデータが読み込まれず、データ モデルに変更を加えるために使用できます。 こうすることで、データを初期化するのを待つことなく、変更が影響を受けます。