- 发行说明
- 在开始之前
- 入门指南
- 管理访问权限
- 使用流程应用程序
- 创建流程应用程序
- 正在加载数据
- 自定义流程应用程序
- 数据转换
- TemplateOne 应用程序模板
- “购买到付款”应用程序模板
- “订单到现金”应用模板
- Basic troubleshooting guide
Loading data using CData Sync
CData Sync 是用于将源系统中的数据提取到Process Mining的工具。 可以在 CData Sync 网站的“源”页面上找到受支持的源系统。 有关 CData Sync 的更多信息，请访问 CData Sync 官方网站。
本页面介绍了如何使用 CData Sync 将源系统中的数据加载到内部部署 Process Mining (Automation Suite) 中的流程应用程序中。
假设您已经：
- 有效的 CData 同步许可证。
- 已安装 CData Sync。 请参阅 安装 CData Sync。
- 设置具有正确权限的 SQL Server 访问权限。请参阅
使用 CData Sync，可以在提取过程中对数据字段进行假名化。 这样，可以在敏感数据字段到达 Process Mining 产品之前在源处对其进行散列处理。 请按照以下步骤对数据进行假名化。
- 转到 CData 中作业的所需任务。
- 编辑查询。
-
将
hashbytes()函数添加到需要匿名化的每个字段。 例如REPLICATE [SOURCE_TABLE] SELECT hashbytes('SHA2_256',[SOURCE_FIELD]) AS [DESTINATION_FIELD] FROM [SOURCE_TABLE];
这样，所有值都将使用SHA2 256散列进行散列。 有关更多信息，请参阅SHA-2 。 如果需要，可以通过在数据转换中为此编写 SQL 查询，将散列值转换为“Person 1”、“Person 2”和“Person 3”等值。
使用 CData Sync 设置数据加载需要执行多个步骤。
- 设置源连接；
- 创建 SQL Server 目标连接；
- 创建作业；
- 调用数据提取 API；
- 正在运行作业。
下面将详细介绍这些步骤。
请按照以下步骤创建源连接。
-
在 CData Sync 管理控制台中，为源系统创建新的 源 连接。
备注：如果您的源系统不在列表中，则可以单击“+ 添加更多”以显示所有可用的源 CData Sync 连接器列表。选择源系统的连接器，然后单击“下载并安装”。
- 在“ 名称” 字段中输入源连接的描述性名称。
- 输入所需属性以设置与源系统的连接。
- 创建并测试连接。
为 .csv 文件或 .tsv 文件设置源连接
.csv 或 .tsv 文件设置源连接，请确保：
- 从列表中选择 CSV 作为要与其创建连接的源系统。
- 将 URI 设置为存储
.csv或.tsv文件的路径。 - 设置正确的 ConnectionType。 当文件与 CData Sync 存储在同一台服务器上时，请使用 “本地 ”。
- 将 FMT 设置为数据文件中使用的适当值。
在“ 连接设置” 面板的“高级” 选项卡中定义以下设置，以确保将数据正确加载到 Process Mining中。
| 版块 | 参数 | 值 |
|---|---|---|
| 其他 | Exclude File Extensions | True |
| 其他 | Include Files | 如果要上传.tsv文件，请将,TSV添加到设置中
|
| 架构 | Type Detection Scheme | None |
| 数据格式 | 将空值推送为 Null | True |
如要设置 SQL Server 目标连接，您需要 SQL Server 数据库的以下设置参数。
ServerDatabaseSchemaRole
请按照以下步骤创建 SQL Server 目标连接。
- Define a new connection of type SQL Server.
- 输入目标连接的描述性名称。例如，SQLServer_IM。
- 配置设置以使用检索到的 SQL Server 数据库设置凭据连接到 SQL Server 数据库
备注： 服务器 必须指定为 <Server>,<Port>。Note: User / Password must be the SQL credentials of the user that has permissions to write into the database. See also Setting up a SQL Server account for data upload using an extractor. Password may not contain a semicolon
;. - 创建并测试连接。
请参见下图。
请按照以下步骤创建提取作业。
- 单击菜单栏中的“ 作业 ”，然后转到“ 添加连接 ”面板的“源”选项卡。
- 单击“+创建作业...”以添加新作业。
- 在“作业名称”字段中输入作业的描述性名称。例如，ServiceNow_to_SQLServer。
- 从“源”列表中选择在“步骤 1：设置源连接”中创建的源连接。
- 从“目标”列表中选择在“步骤 3：创建目标连接”中创建的 SQL Server 连接。
- 确保选择“标准”选项作为“复制类型”，然后单击“+ 创建”。
-
单击“ +添加任务”。
- 选择列表中的所有源表格。
- 单击“添加”。
-
转到“ 作业设置” 面板中的“高级”选项卡。
- 找到“目标架构”条目，然后复制在“步骤 2：检索 SQL Server 数据库参数”中检索到的架构。
- 选择“删除表格”选项可防止将数据附加到表格中。
- 启用复选框“
Enable Parallel Processing”，并在“工作池”字段中输入“8”以提高加载速度。 - 确保已设置“复制间隔”和“复制间隔单位”，以使生成的周期等于或大于提取周期。
- 单击“保存更改”。
请按照以下步骤编辑作业后事件以调用数据提取 API。
- 转到“作业设置”面板中的“事件”选项卡。
- 编辑“作业后事件”部分并添加提取 API 调用，以确保如下所述替换服务器、组织、租户和 Process Mining 应用程序 ID。
注意： 您可以从 Process Mining 门户 的“ 所有流程应用程序 ”列表中复制 应用程序 ID 。确保在“ 列 ”列表中选择“ ID ”。
替换
您用于替换的项
my-uipath-server.com服务器
default组织
defaulttenant租户
98dfd1d5-9e42-4f0e-9a0a-8945629f01b3应用程序 ID
<api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> <api:call op="httpPost" in="http"/><api:set attr="http.url" value="https://my-uipath-server.com/default/defaulttenant/processMining_/api/v2/apps/98dfd1d5-9e42-4f0e-9a0a-8945629f01b3/transform/unauthenticated"/> <api:call op="httpPost" in="http"/> - 保存更改。
- 单击菜单栏中的“作业”，然后找到目标作业。
- 单击“运行所有查询”图标以检查作业是否正常运行。
记录的信息
您可以添加其他语句以获取有关 API 调用的日志记录信息。请执行以下步骤。
- 在之前在作业后事件中添加的行之间添加以下语句。
<api:set attr="http.verbosity" value="5"/><api:set attr="http.logfile" value="D:/mydir/cdata_log.txt"/>请参见下图。
- 转到“ 作业设置” 面板中的“日志记录和历史记录”选项卡。
- 从“日志文件详细程度”列表框中选择“Verbose”。
- 运行作业并检查创建的日志文件。
请按照以下步骤运行提取作业。
- 单击菜单栏中的“作业”，并找到在步骤 4：创建提取作业中创建的提取作业。
-
单击“ 运行所有查询” 图标。 请参见下图。
- 等待作业完成。 根据数据量，这可能需要几分钟。
- 转到Process Mining 门户并检查流程应用程序的“上次提取数据”，以查看数据加载是否已成功完成。 注意：仅在处理完所有数据后，系统才会更新日期。 根据数据量，该过程可能需要几分钟到一个小时。
计划作业
如果要定期运行提取作业，可以使用 CData 同步计划程序定义计划。
请按照以下步骤计划提取作业。
- 打开在步骤 4：创建提取作业中创建的 CData Sync 提取作业。
-
转到“作业设置”面板中的“计划”选项卡。
有关如何计划作业的更多信息，请参阅官方 CData Sync 文档。
