Incremental extraction

检查增量设置

对于大多数源系统，CData Sync 已预配置应如何执行增量提取。 如果没有按配置执行操作，则必须手动编辑设置才能执行增量提取。 有关如何执行此操作的更多信息，请参阅官方CData Sync 文档。

配置增量提取

添加时间戳列

要使用 CData Sync 运行增量提取，您需要在提取作业中为要增量加载的每个表格添加一个时间戳列。“时间戳”列将跟踪上次提取数据的时间，从而使 CData Sync 仅为下一次迭代提取新数据或更新的数据。

请按照以下步骤使用 CData Sync 配置增量数据提取。

1. 编辑在“创建作业”中创建的 CData Sync 提取作业。

2. 转到“任务” ，并编辑要配置用于增量提取的表格。

3. 转到“列” ，然后选择“编辑映射” 。

4. 选择“+”（添加列）。

   
   

   

   
   
5. 输入 SQL 命令，将时间戳转换为正确的格式。例如，对于 Oracle 源数据库，请输入to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS') 。选择“下一步” 。
6. 在“列名称”字段中输入EXTRACTED 。
7. 选择TIMESTAMP作为“数据类型” ，然后选择“添加列” 。下图显示了一个示例。

   
   

   

   
   

8. 转到“概述”并编辑 “来源信息” 。

9. 从列表中选择适用的增量列。

   备注：

   这应该是一个包含每次更改的时间戳值的列，或一个保存每次更新的行数的整数列。

10. 选择“保存”。

11. 转到“管理输入数据”屏幕，然后将时间戳列添加到“时间戳” 字段，以配置表的增量加载。查看管理输入数据以获取更多信息。

定义增量开始日期

对于增量提取，需要定义一个起点（或“增量开始日期”），将从该起点为每个表格提取新数据或更新的数据。

请按照以下步骤定义表格的增量开始日期。

1. 返回上一级，直到“编辑作业” 页面中的“概述” 。

2. 找到“增量复制”部分，然后选择“配置” 。

3. 选择所需的“开始日期” 。

4. 输入所需的“复制间隔” ，或接受默认值 180 天。

   备注：

   重复间隔较小可能会影响性能。

5. 选择“保存”。

Running incremental extraction

请按照以下步骤操作，以确保增量数据提取正常运行。

1. 启动 CData Sync 管理控制台，并使用安装 CData Sync 期间定义的凭据以管理员身份登录。
2. 转到“作业”，然后选择提取作业以显示作业设置。

3. 转到“高级”选项卡，然后编辑“复制选项”以取消选择“删除表格”选项。 这将启用增量提取。

首次运行 CData Sync 提取作业时，将执行完整提取并提取所有源数据。 每次运行 CData Sync 提取作业时，仅提取源中已更改的数据，并将增量添加到已提取的数据中。

有关使用 CData Sync 提取增量数据的更多信息，请参阅官方 CData Sync 文档。