Incremental extraction

Para a maioria dos sistemas de origem, o CData Sync pré-configurou como as extrações incrementais devem ser executadas. Se não for o caso, é necessário editar manualmente as configurações para realizar extrações incrementais. Para mais informações sobre como fazer isso, consulte a documentação oficial do CData Sync.

Configuração da extração incremental

Definição da data de início incremental

Para extração incremental, é necessário definir um ponto de partida (ou "data de início incremental") a partir do qual os dados novos ou atualizados serão extraídos para cada tabela.

Siga estas etapas para definir a data de início incremental para uma tabela.

1. Acesse Visão geral na página Editar trabalho .
2. Localize a seção Replicação incremental e selecione Configurar.
3. Selecione uma Data de início desejada.
4. Insira o Intervalo de replicação desejado ou aceite o padrão de 180 dias.
   Observação: um intervalo de substituição grande pode afetar o desempenho.
5. Selecione Salvar.

Habilitando extração incremental

Siga esta etapa para habilitar a extração incremental para o trabalho no CData Sync.

1. Acesse a guia Avançado , e edite a Opção de replicação para desmarcar a opção Descartar tabela . Isso permite a extração incremental.

Verificação das configurações incrementais

Para a maioria dos sistemas de origem, o CData Sync pré-configurou como as extrações incrementais devem ser executadas. Se não for o caso, é necessário editar manualmente as configurações para realizar extrações incrementais. Para mais informações sobre como fazer isso, consulte a documentação oficial do CData Sync.

Adição de uma coluna de carimbo de data/hora

Para executar uma extração incremental usando o CData Sync, é necessário adicionar uma coluna de carimbo de data/hora no trabalho de extração para cada tabela que você deseja carregar incrementalmente. A coluna de carimbo de data/hora registrará quando os dados foram extraídos pela última vez, permitindo que o CData Sync extraia apenas dados novos ou atualizados para a próxima iteração.

Siga estas etapas para configurar a extração de dados incremental usando o CData Sync.

1. Edite o trabalho de extração do CData Sync criado em Criar um trabalho.

2. Acesse Tarefa e edite a tabela que deseja configurar para extração incremental.

3. Acesse Colunas e selecione Editar mapeamento.

4. Selecione + (Adicionar coluna).

   
   

   

   
   
5. Insira o comando SQL para converter o carimbo de data/hora para o formato correto. Por exemplo:
   1. para bancos de dados do MS SQL Server, insira FORMAT(GETDATE(), 'yyyy-MM-dd HH:mm:ss')
   2. para bancos de dados de origem Oracle, insira to_char(CURRENT_TIMESTAMP, 'YYYY-MM-DD HH24:MI:SS').
   3. Selecione Avançar.
6. Insira EXTRACTED no campo Nome da coluna .
7. Selecione TIMESTAMP como o Tipo de dados e selecione Adicionar coluna. A ilustração a seguir mostra um exemplo.

   
   

   

   
   

8. Acesse Visão geral e edite as Informações de origem.

9. Selecione a Coluna Incremental aplicável da lista.

   Observação:

   Deve ser uma coluna que contenha valores de carimbo de data/hora para cada alteração ou em uma coluna de número inteiro que contenha a contagem de linhas para cada atualização.

10. Selecione Salvar.

Defina a carga incremental para o aplicativo de processo do Process Mining

1. Abra o aplicativo de processo do Process Mining no modo de desenvolvedor.
2. Vá para Transformações de dados.
3. Acesse a tela Gerenciar dados de entrada ,
4. Adicione a coluna de carimbo de data/hora ao campo Carimbo de data/hora para configurar a carga incremental para uma tabela. Confira Gerenciamento de dados de entrada para obter mais informações.

Running incremental extraction

ConfiraExecutar o trabalho para obter informações sobre como iniciar o trabalho de extração.

Na primeira vez em que o trabalho de extração do CData Sync é executado, uma extração completa é realizada e todos os dados de origem são extraídos. Da próxima vez que o trabalho de extração do CData Sync for executado, apenas os dados alterados na origem serão extraídos e o delta será adicionado aos dados já extraídos.

Para obter mais informações sobre extração de dados incremental com o CData Sync, consulte a documentação oficial do CData Sync.