データの読み込み

はじめに

コネクタへのデータの読み込み

データの読み込みとは、コネクタ内の新しいデータを読み込む際に必要な時間を指 します。 これは、データベースから読み込む際の列の数によって決定されます。

一部の種類のデータは、他の種類よりも読み込み速度が高速です。 大まかな意味では、次のような順序があります。

1. ODBC: ドライバーとデータベースによっても異なります。
2. フラット ファイル: csv’sします。
3. Excel: Excel で使用するためのオーバーヘッドが含まれるため、読み込み速度が低下します。 可能であれば、Excel ファイルの代わりにテキスト ファイルを使用します。 テキスト ファイルの処理速度が大幅に向上しました。

マルチファイルスクリプトは、異なるフラットファイルをすべて一緒に解析するのは非常に遅く、可能であれば避けるべきです。 また、膨大な量のデータを読み込む API の使用を避けます。

 

アプリケーションへのデータの読み込み

データは、次の方法で読み込むことができます。

• アプリケーションが起動したとき (ライブ データ)
• スケジュールされたデータ実行 (キャッシュデータ) の結果として
• ライブ データとキャッシュデータの組み合わせ (インクリメンタル ロード)。

ライブ データ

一般に、ライブ データは、特にデータの数が多い場合に、かなり遅くなります。 ライブ データでは、データへの継続的なアクセスも必要です。このデータは、運用環境の時間中に問題になる可能性があります。

一般的なガイドラインとして、ライブ データは 100,000 イベントを下回るようにすることをお勧めします。 実際のパフォーマンスは、データと使用されるデータ ソースによって大きく異なります。

フィルターの値に基づいてライブ データを取得できます。 フィルターを変更すると、新しいデータが要求されます。 パフォーマンスは、このようなユース ケースでは重要に考慮される必要があります。

ライブ テーブルは、ユーザーのログイン時またはフィルター コントロールの変更時に読み込まれます。 ライブ テーブルを使用すると、パフォーマンスが低下する問題が頻繁に発生します。 可能な場合は、キャッシュされたテーブルを使用することをお勧めします。

キャッシュされたデータ

キャッシュされるデータの場合、アプリケーションの起動時間は列数に依存しません。 データは事前計算されキャッシュされる際、要求されたときにキャッシュから直接読み込むことができます。 ソース システムからデータを抽出する際には、時間がかかる場合があります。 キャッシュの更新は、運用環境時間外などスケジュール設定することをお勧めします。

データの抽出に加え、データも UiPath Process Mining の内部形式に変換され、ユーザーの入力に依存しないすべての計算がキャッシュされます。

ユーザー入力に依存する計算の場合、初期状態はキャッシュされます。 計算を変更するコントロールまたはフィルターをユーザーが変更すると、計算が再度実行されます。 この再計算を最小限に抑することは、アプリケーションの優れた設計において非常に重要です。

Incremental Load

既定では、 UiPath Process Mining はデータを増分読み込まない。 多くの場合、変異は ERP システム内の項目に発生するため、データのアーカイブは望ましくない場合が多い。 そのため、すべてのデータがシステムから読み込まれるため、データ モデルに最新の変更が加えられるようになります。

理論的には、増分データ読み込みは、アプリケーション開発者が設定できます。 この操作を行うには、新しいデータと、何をクエリにすべきかを判断するための十分な情報がデータベース内に含まれている必要があります。 パフォーマンスは慎重に検討する必要があります。 データの増分読み込みが必要な場合にのみ、使用することをお勧めします。

さらに適切な方法として、専用のツールを使用してソース システムからデータ レイク/倉庫に増分負荷を実行し、 UiPath Process Miningからデータ レイク/倉庫にクエリを実行します。 これにより、ソース システムへの影響を低く抑え、 UiPath Process Mining専用ではなく、増分負荷の利益を組織全体と共有します。

外部スクリプト

UiPath Process Mining では、Python や R のサンプルを使用して、スクリプトを使用してデータを読み込むことができます。これらのスクリプトは実行するために外部プログラムを呼び出して、この出力を再度読み込むことができます。 UiPath Process Mining は、UiPath のプラットフォームとスクリプトのインターフェイス上のサポートを提供します。 UiPath Process Mining は、外部ツールの長期実行を引き起こす可能性のある、実際のスクリプトの問題をサポートしていません。

 

解決方法

ドライバー

Windows Server 2016 用の MSSQL ODBC ドライバーの最新バージョンがインストールされていることを必ず確認してください。

Debug Module

たとえば、読み込むデータを減らすことができない場合もあります。 入力データをまだフィルター処理できない場合 コネクタに大きな入力値がある場合、反応時間が遅くなる可能性があります。開発をスピードアップするには、アプリケーションにモジュールを追加します。

モジュール コードを使用すれば、1 つのモジュールでのみデータが実際に読み込まれていることを確認し、もう一方のモジュールではデータが読み込まれず、データ モデルに変更を加えるために使用できます。 こうすることで、データを初期化するのを待つことなく、変更が影響を受けます。