アプリケーションでシャーディングを使用する

はじめに

シャーディングは、プロセス マイニング アプリケーションのパフォーマンスを向上させる革新的なソリューションです。 つまり、シャーディングによって、イベント ログのデータが「シャード」と呼ばれる小さな部分に分割されます。 各シャードが小さいほど、速度は上がります。

シャードの場合、エンドユーザーは関心のあるデータの適用可能な部分のみを考慮します。 ユーザーがアプリケーションにログインすると、該当するデータ シャードだけが読み込まれます。

シャードの種類

シャードは、次の 2 つの異なる種類に分けられます。

• 通常のシャード: データの一部が詳細レベルで含まれます。
• ベンチマークシャード - すべてのデータの集約された高レベルのビューが含まれます。

標準のシャードを作成する方法やベンチマーク用のシャードを作成する手法は複数存在します。 通常のシャードは、ケースの属性に基づいてデータを分割することで作成できます。 ベンチマークのシャードは全シャードのデータと結合されます。 通常、データの詳細レベルは、事前集約、フィルタリング、またはサンプリングを使用して低減されます。

通常のシャード

シャーディングの属性の例としては、企業コードがあり、各シャードには単一の会社コードに属するすべてのケースが含まれます。 データセットに 10 個の企業コードが必要な場合、すべてのシャードの速度は元のシャードの約 10 倍になります (等しい分割が想定される)。

以下の画像でご確認ください。

ベンチマークのシャード

データを個別のシャードに分割するほかに、すべてのデータのより高いレベルの表示を含む概要のシャード (「ベンチマークのシャード」) を作成すると便利です。

複数の方法で設定できます。

• 値や属性を事前に集約することにより、詳細な分析を行うことができますが、シャード間の差異を引き続き比較することができます。
• きめ細かいイベントをフィルター処理して詳細レベルを下げると、粗いレベルのプロセスを比較できるようになります。
• フィルター処理: すべてのイベント データを削除して、タグとそれぞれのケースのみを保持できます。これにより、複数のシャードに対するタグを比較できます。
• サンプリングによって、データセット内のケースをサンプルして、ケースの一部のみを保持し、ケースの代表的なサンプルをベンチマークデータセットとして保持できます。

異なる方法を使用して、複数のベンチマークシャードを設定することもできます。

コネクタを設定する

通常のシャード

シャード化を使用する場合でも、ETL には 1 つのコネクタを使用できます。 そのためには、作成するシャードごとに 1 つのモジュールを使用して、アプリケーション モジュールを設定します。

コネクタで、テーブルスコープを「現在のユーザー」に設定したシステムテーブルを追加して、現在アクティブなモジュールを示す ActiveApplicationCodeを取得します。システムテーブルのこの属性を使用して、データロードの条件を作成できます。

例

ケースタイプを使用してシャーディングを適用する場合は、ActiveApplicationCode 属性に基づいて式Case_Type_Shardを設定し、どのケースタイプがどのアプリケーションコードに属するかを判断します。次に、 cases_base テーブルで結合条件を次のように設定します。

Cases_preprocessing where Case_type_Shard = Case_type

これにより、現在のシャードに属するケースの種類を持つケースのみが、最終的な出力として渡されるようになります。

また、現在のシャード内のケースに属するイベントのみが出力に含まれていることを確認する必要があります。 したがって、 events_preprocessing テーブル内で、 cases_base テーブルの検索式を作成して、選択したシャードにケースが含まれているかどうかを確認します。

以下の画像でご確認ください。

この式属性を 、events_base テーブルの結合条件で使用します。

Events_preprocessing where Case_in_shard です。

ベンチマークのシャード

ベンチマークシャードは ActiveApplicationCode 属性を使用して設定することもできます。 フィルター処理は、使用するベンチマークのシャードの種類によって異なり、通常のシャードの場合は上記と同様です。

アプリケーションのセットアップ

シャーディング用にアプリケーションを設定するには、シャードごとに 1 つのモジュールも必要です。 これらのモジュールは、コネクタのモジュール コードと同じコードを持つ必要があります。

さらに、使用するベンチマークシャードの種類によっては、標準のシャードとベンチマークシャードのデータ構造が異なる場合があります。 この場合、ベンチマークシャードには別のアプリケーションが必要です。

データを再読み込みする

複数のモジュールを使用しているため、スクリプトを使用してデータを再読み込みし、すべてのコネクタ モジュールのデータが最終的に同じデータセットに格納されるようにする必要があります。これにより、アプリケーションは、開いているモジュールに基づいて、データのどの部分を考慮するべきかを認識します。データを再読み込みするためのスクリプトについては、「 自動データ更新の設定 」を参照してください。