Incremental extraction

Introdução

Dependendo do seu sistema de origem, é possível executar a extração de dados incremental com o CData Sync.

Pré-requisitos

Para executar a extração de dados incremental com o CData Sync, você deve configurar um ambiente local com um banco de dados de staging. Neste banco de dados de preparo, você pode extrair dados incrementalmente do sistema de origem e adicionar o delta aos dados já extraídos. Veja a ilustração abaixo para uma visão geral.

Banco de dados de staging

Os tipos de banco de dados mais comuns podem ser usados como banco de dados de teste. Verifique na documentação oficial da sua ferramenta de extração se sua extração pode gerar saída para o banco de dados que você deseja usar como banco de dados de teste. Para o CData Sync, consulte Destinos e para Theobald Xtract Universal consulte Destinos.

Além disso, você deve ser capaz de carregar os dados do teste no armazenamento de blob. Isso pode ser feito com um trabalho do CData Sync, se seu banco de dados for suportado como uma origem, consulte Origens.

Verificação das configurações incrementais

Para a maioria dos sistemas de origem, o CData Sync pré-configurou como as extrações incrementais devem ser executadas. Se não for o caso, é necessário editar manualmente as configurações para realizar extrações incrementais. Para mais informações sobre como fazer isso, consulte a documentação oficial do CData Sync.

Execução de extração incremental

Siga estas etapas para garantir que as extrações de dados incrementais sejam executadas corretamente.

1. Inicie o console CData Sync Admin e faça login como administrador usando as credenciais definidas durante a instalação do CData Sync.
2. Clique em TRABALHOS na barra de menu e clique duas vezes no trabalho de extração para abrir as Configurações de trabalho.

3. Acesse a aba Avançado, e desmarque a opção Descartar tabela. Isso permite a extração incremental.

   
   

   

   
   

Na primeira vez em que o trabalho de extração do CData Sync é executado, uma extração completa é realizada e todos os dados de origem são extraídos. Da próxima vez que o trabalho de extração do CData Sync for executado, apenas os dados alterados na origem serão extraídos e o delta será adicionado aos dados já extraídos.

Observação:

Você precisa criar um trabalho CData Sync adicional para carregar os dados do banco de dados de teste para o armazenamento de blob do Azure.

Para obter mais informações sobre extração de dados incremental com o CData Sync, consulte a documentação oficial do CData Sync.