在应用程序中使用分片

简介

分片是一种创新解决方案，可用于提高流程挖掘应用程序的性能。 简而言之，分片会将事件日志中的数据划分为称为“分片”的较小部分。 每个分片越小，速度就越快。

使用分片，最终用户只需考虑他们感兴趣的数据的适用部分。 当用户登录应用程序时，将仅加载适用的数据分片。

分片类型

分片可分为两种不同的类型：

• 常规分片，其中包含详细级别的部分数据。
• 基准分片，其中包含所有数据的聚合高级视图。

存在多种用于创建常规分片和基准分片的技术。 可以通过根据用例属性拆分数据来创建常规分片。 基准分片合并所有分片的数据。 通常，使用预聚合、筛选或抽样来降低数据的详细信息级别。

常规分片

分片属性的一个示例可以是公司代码，其中每个分片都包含属于单个公司代码的所有案例。 如果您的数据集中有 10 个公司代码，则每个分片的速度将比原始分片快约 10 倍（假设拆分相等）。

请参见下图。

 

基准分片

除了将数据拆分为单独的分片外，使用包含所有数据的更高级别视图的概览分片（“基准分片”）也很有用。

您可以通过多种方式进行设置：

• 通过预聚合值或属性：这会阻止您执行详细分析，但仍允许您比较分片的差异。
• 通过筛选掉细粒度事件来降低详细级别：这使您能够在粗略级别比较流程。
• 通过筛选：您可以删除所有事件数据，并仅保留标签和相应的案例，这样您就可以比较多个分片的标签。
• 通过抽样：您可以对数据集中的案例进行抽样，以仅保留部分案例，同时保留具有代表性的案例样本作为基准数据集。

您还可以使用不同的方法设置多个基准测试分片。

设置连接器

常规分片

即使在使用分片时，您也可以为 ETL 使用单个连接器。 为此，您可以设置应用程序模块，每个要创建的分片使用一个模块。

在连接器中，添加一个系统表，并将表作用域设置为“当前用户”，以获取 ActiveApplicationCode，该代码指示当前处于活动状态的模块。 您可以使用系统表中的此属性为数据加载创建条件。

示例

使用案例类型应用分片时，请根据 ActiveApplicationCode 属性设置表达式Case_Type_Shard ，以确定哪种案例类型属于哪个应用程序代码。 然后，在 case_base 表中，将联接条件设置为：

Cases_preprocessing where Case_type_Shard = Case_type

这可确保仅在最终输出中传递案例类型属于当前分片的案例。

您还需要确保只有属于当前分片中案例的事件才会出现在输出中。 因此，在events_preprocessing表中，为cases_base表创建一个查找表达式，以检查案例是否在所选分片中。

 

请参见下图。

在 events_base 表的联接条件中将此表达式属性与以下表达式一起使用：

Events_preprocessing where Case_in_shard。

基准分片

还使用ActiveApplicationCode属性设置基准分片。 筛选取决于您要使用的基准分片类型，并且类似于上述常规分片的筛选。

设置应用程序

要设置应用程序以进行分片，您还需要每个分片一个模块。 这些模块的模块代码必须与连接器中的模块代码相同。

此外，根据您使用的基准分片类型，常规分片和基准分片的数据结构可能有所不同。 在这种情况下，您需要为基准分片使用单独的应用程序。

重新加载数据

由于您正在使用多个模块，因此需要使用脚本重新加载数据，以确保所有连接器模块的数据最终都位于同一数据集中。 这样，应用程序可以根据打开的模块知道要考虑的数据部分。 有关用于重新加载数据的脚本，请参见 设置自动数据刷新 。