Data Loading

简介

正在将数据加载到连接器中

数据加载是指在连接器中加载新数据所需的时间 。这由从数据库读取时的列数决定。

某些类型的数据比其他类型的数据加载速度更快。 从广义上讲，顺序如下。

1. ODBC：这也取决于驱动程序和数据库。
2. 平面文件: csv’s 。
3. Excel：这些文件包含在 Excel 中使用的开销，这使它们的读取速度变慢。 如果可能，请使用文本文件而不是 Excel 文件。 文本文件的速度要快得多。

多文件脚本同时解析所有不同的平面文件非常慢，应尽可能避免使用。 还要避免使用用于加载大量数据的 API。

将数据加载到应用程序中

可以通过以下方式加载数据：

• 应用程序启动时间（实时数据）；
• 作为计划的数据运行的结果（缓存的数据）；
• 实时数据和缓存数据的组合（增量加载）。

实时数据

通常，实时数据的速度要慢得多，尤其是在有大量数据的情况下。 实时数据还需要持续访问数据，这在生产时间可能会成为问题。

作为一般准则，建议将实时数据保持在 100,000 个事件以下。 实际性能在很大程度上取决于数据和使用的数据源。

可以根据筛选器的值检索实时数据。 如果筛选条件发生更改，则系统会请求新数据。 对于此类用例，必须认真考虑性能。

当用户登录和/或更改筛选器控件时，将加载实时表格。 活动表通常会导致性能问题。 建议尽可能使用缓存表。

缓存数据

对于缓存的数据，应用程序的启动时间与列数无关。 预先计算并缓存数据后，可以在请求时直接从缓存中加载。 从源系统提取数据可能非常耗时。 It is recommended to schedule the cache updates, for example outside production hours.

除了提取数据外，系统还会将数据转换为UiPath Process Mining内部格式，并且所有不依赖于用户输入的计算都会被缓存。

对于依赖于用户输入的计算，系统会缓存初始状态。 当用户更改更改计算的控件或筛选器时，将再次执行计算。 在良好的应用程序设计中，将这些重新计算保持在最低限度非常重要。

增量加载

默认情况下， UiPath Process Mining不会以增量方式加载数据。由于 ERP 系统中的项目经常发生变化，因此将数据存档的方法通常不是理想的方法。因此，将从系统加载所有数据，以确保我们的数据模型拥有最新更改。

理论上，应用程序开发者可以设置增量数据加载。 这需要数据库中有足够的信息来确定哪些数据是新数据以及哪些数据需要查询。 需要仔细考虑性能。 我们仅建议在绝对必要时使用增量数据加载。

更合适的替代方法是使用专用工具从源系统运行增量加载到数据池/仓库中，然后从UiPath Process Mining查询数据池/仓库。这可确保对源系统的影响较小，并与整个组织（而不是专门为UiPath Process Mining ）共享增量负载的收益。

外部脚本

在UiPath Process Mining中，您可以使用 Python 或 R 通过脚本加载数据。这些脚本将调用要运行的外部程序，您可再次读入此输出。UiPath Process Mining为我们的平台与脚本之间的接口提供支持。UiPath Process Mining不支持实际脚本存在的问题，这可能会导致外部工具的运行时间过长。

Solutions (解决方案)

驱动程序

始终确保已安装适用于 Windows Server 2016 的最新版本的MSSQL ODBC驱动程序。

调试模块

例如，有时无法减少要读入的数据。当尚无法筛选输入数据时。如果连接器中的输入较大，则反应时间可能会很慢。为了加快开发速度，您可以向应用程序中添加模块。

您可以使用模块代码来确保仅在一个模块中实际读取数据，而另一个模块不加载数据，并且可用于更改数据模型。 通过这种方式，更改会受到影响，而无需等待数据初始化。