Incremental extraction

Introdução

Dependendo do seu sistema de origem, é possível executar a extração de dados incremental com o CData Sync.

Pré-requisitos

Para executar a extração de dados incremental com o CData Sync, você deve configurar um ambiente local com um banco de dados de staging. Neste banco de dados de preparo, você pode extrair dados incrementalmente do sistema de origem e adicionar o delta aos dados já extraídos. Veja a ilustração abaixo para uma visão geral.

Banco de dados de staging

Os tipos de banco de dados mais comuns podem ser usados como um banco de dados de teste. Verifique a documentação oficial da sua ferramenta de extração para ver se a extração pode produzir para o banco de dados que você deseja usar como banco de dados de teste. Para o CData Sync, consulte Destinose para o Theobald Xtract Universal, consulte Destinos.

Além disso, você deve ser capaz de carregar os dados do staging para o repositório de blobs. Isso pode ser feito com um trabalho CData Sync e se seu banco de dados for compatível como origem, consulte Fontes.

Verificação das configurações incrementais

Para a maioria dos sistemas de origem, o CData Sync pré-configurou como as extrações incrementais devem ser executadas. Se não for o caso, é necessário editar manualmente as configurações para realizar extrações incrementais. Para mais informações sobre como fazer isso, consulte a documentação oficial do CData Sync.

Execução de extração incremental

Siga estas etapas para garantir que as extrações de dados incrementais sejam executadas corretamente.

1. Inicie o console CData Sync Admin e faça login como administrador usando as credenciais definidas durante a instalação do CData Sync.
2. Acesse Trabalhos e selecione o trabalho de extração para exibir as configurações do trabalho.

3. Acesse a guia Avançado , e edite a Opção de replicação para desmarcar a opção Descartar tabela . Isso permite a extração incremental.

Na primeira vez em que o trabalho de extração do CData Sync é executado, uma extração completa é realizada e todos os dados de origem são extraídos. Da próxima vez que o trabalho de extração do CData Sync for executado, apenas os dados alterados na origem serão extraídos e o delta será adicionado aos dados já extraídos.

Observação:

Você precisa criar um trabalho CData Sync adicional para carregar os dados do banco de dados de teste para o armazenamento de blob do Azure.

Para obter mais informações sobre extração de dados incremental com o CData Sync, consulte a documentação oficial do CData Sync.