Incremental extraction

Introdução

Dependendo do seu sistema de origem, é possível executar a extração de dados incremental com o CData Sync.

Pré-requisitos

Para executar a extração de dados incremental com o CData Sync, você deve configurar um ambiente local com um banco de dados de staging. Neste banco de dados de preparo, você pode extrair dados incrementalmente do sistema de origem e adicionar o delta aos dados já extraídos. Veja a ilustração abaixo para uma visão geral.

Banco de dados de staging

Most common database types can be used as a staging database. Check the official documentation for your extraction tool whether your extract can output to the database you want to use as a staging database. For CData Sync refer to Destinations, and for Theobald Xtract Universal refer to Destinations.

Also, you have to be able to load the data from staging into the blob store. This can be done with a CData Sync job, if your database is supported as a source, refer to Sources.

Verificação das configurações incrementais

Para a maioria dos sistemas de origem, o CData Sync pré-configurou como as extrações incrementais devem ser executadas. Se não for o caso, é necessário editar manualmente as configurações para realizar extrações incrementais. Para mais informações sobre como fazer isso, consulte a documentação oficial do CData Sync.

Execução de extração incremental

Siga estas etapas para garantir que as extrações de dados incrementais sejam executadas corretamente.

1. Inicie o console CData Sync Admin e faça login como administrador usando as credenciais definidas durante a instalação do CData Sync.
2. Acesse Trabalhos e selecione o trabalho de extração para exibir as configurações do trabalho.

3. Acesse a guia Avançado , e edite a Opção de replicação para desmarcar a opção Descartar tabela . Isso permite a extração incremental.

Na primeira vez em que o trabalho de extração do CData Sync é executado, uma extração completa é realizada e todos os dados de origem são extraídos. Da próxima vez que o trabalho de extração do CData Sync for executado, apenas os dados alterados na origem serão extraídos e o delta será adicionado aos dados já extraídos.

Observação:

Você precisa criar um trabalho CData Sync adicional para carregar os dados do banco de dados de teste para o armazenamento de blob do Azure.

Para obter mais informações sobre extração de dados incremental com o CData Sync, consulte a documentação oficial do CData Sync.