Data Loading

简介

正在将数据加载到连接器中

数据加载是指在 连接器中加载新数据所需的时间。 这取决于从数据库读取时的列数。

某些类型的数据比其他类型的数据加载速度更快。 从广义上讲，顺序如下。

1. ODBC：这也取决于驱动程序和数据库。
2. 平面文件: csv’s 。
3. Excel：这些文件包含在 Excel 中使用的开销，这使它们的读取速度变慢。 如果可能，请使用文本文件而不是 Excel 文件。 文本文件的速度要快得多。

多文件脚本同时解析所有不同的平面文件非常慢，应尽可能避免使用。 还要避免使用用于加载大量数据的 API。

 

将数据加载到应用程序中

可以通过以下方式加载数据：

• 应用程序启动时间（实时数据）；
• 作为计划的数据运行的结果（缓存的数据）；
• 实时数据和缓存数据的组合（增量加载）。

实时数据

通常，实时数据的速度要慢得多，尤其是在有大量数据的情况下。 实时数据还需要持续访问数据，这在生产时间可能会成为问题。

作为一般准则，建议将实时数据保持在 100,000 个事件以下。 实际性能在很大程度上取决于数据和使用的数据源。

可以根据筛选器的值检索实时数据。 如果筛选条件发生更改，则系统会请求新数据。 对于此类用例，必须认真考虑性能。

当用户登录和/或更改筛选器控件时，将加载实时表格。 活动表通常会导致性能问题。 建议尽可能使用缓存表。

缓存数据

对于缓存的数据，应用程序的启动时间与列数无关。 预先计算并缓存数据后，可以在请求时直接从缓存中加载。 从源系统提取数据可能非常耗时。 It is recommended to schedule the cache updates, for example outside production hours.

除了提取数据外，数据还会转换为 UiPath Process Mining 内部格式，并且所有不依赖于用户输入的计算都会被缓存。

对于依赖于用户输入的计算，系统会缓存初始状态。 当用户更改更改计算的控件或筛选器时，将再次执行计算。 在良好的应用程序设计中，将这些重新计算保持在最低限度非常重要。

增量加载

默认情况下， UiPath Process Mining 不会以增量方式加载数据。 由于 ERP 系统中的项目经常发生突变，因此存档数据通常不是理想的方法。 因此，系统会加载所有数据，以确保我们的数据模型具有最新的更改。

理论上，应用程序开发者可以设置增量数据加载。 这需要数据库中有足够的信息来确定哪些数据是新数据以及哪些数据需要查询。 需要仔细考虑性能。 我们仅建议在绝对必要时使用增量数据加载。

更合适的替代方法是使用专用工具将源系统中的增量负载运行到数据湖/仓库中，然后从 UiPath Process Mining查询数据湖/仓库。 这可确保对源系统的影响较小，并与整个组织共享增量负载的收益，而不是专门针对 UiPath Process Mining。

外部脚本

在 UiPath Process Mining 中，您可以使用 Python 或 R 脚本通过脚本加载数据。 这些脚本将调用外部程序来运行，并且可以再次读取此输出。 UiPath Process Mining 为我们的平台和脚本之间的接口提供支持。 UiPath Process Mining 不支持实际脚本存在的问题，这些问题可能会导致外部工具运行时间过长。

 

解决方案

驱动程序

始终确保已安装适用于 Windows Server 2016 的最新版本的 MSSQL ODBC 驱动程序。

调试模块

例如，有时无法减少要读取的数据。 尚无法筛选输入数据时。 如果 连接器中的输入较大，则反应时间可能会很慢。 为了加快开发速度，您可以向应用程序添加模块。

您可以使用模块代码来确保仅在一个模块中实际读取数据，而另一个模块不加载数据，并且可用于更改数据模型。 通过这种方式，更改会受到影响，而无需等待数据初始化。