Running a SQL connector

Introdução

Esta página contém instruções sobre como executar um conector SQL usando scripts.

Pré-requisitos

O run.ps1 e load.ps1 precisam ser executados no mesmo servidor que a instalação do Process Mining para produção. Os scripts extraction_cdata.ps1 e transform.ps1 também podem ser executados em outros locais.

É assumido que:

• as ferramentas de desenvolvimento descritas em Configurando um ambiente de teste local são instaladas.

• o conector SQL é configurado conforme descrito em Configurando um conector SQL.

  Observação: o diretório scripts/ do conector contém um conjunto de scripts padrão para executar e programar extração, transformação e carregamento de dados.

Execução de um conector

Siga estas etapas para executar um conector, extrair, transformar e carregar os dados.

Etapa	Ação
1	Inicie o Windows PowerShell como administrador.
2	Vá para o diretório scripts/ .
3	Execute run.ps1.

Executando apenas extração

Siga estas etapas para executar apenas a extração.

Etapa	Ação
1	Inicie o Windows PowerShell.
2	Vá para o diretório scripts/ .
3	Execute extraction_cdata.ps1.

Observação: se seu conector não usar CData Sync para extração de dados, o nome do extraction_ script será diferente.

Executando apenas transformações

Siga estas etapas para executar apenas as etapas de transformação.

Etapa	Ação
1	Inicie o Windows PowerShell.
2	Vá para o diretório scripts/ .
3	Execute transform.ps1.

Cada etapa de transformação também pode ser executada individualmente.

Somente carga em execução

Siga estas etapas para executar apenas as etapas de carga.

Etapa	Ação
1	Inicie o Windows PowerShell como administrador.
2	Vá para o diretório scripts/ .
3	Execute load.ps1.

Erros de depuração

Um arquivo de log LogFile.log é criado ao executar os scripts. Este arquivo de log contém todos os estágios da execução do trabalho e os carimbos de data/hora associados. O arquivo de log também retorna um conjunto mínimo de códigos de erro, que podem fornecer orientações adicionais.

Carregar

Para obter mais detalhes sobre a geração do cache, verifique cache_generation_output.log que é gerado no diretório em que seu script de carregamento está localizado.

Extrações de CData

Para obter mais detalhes sobre as execuções do trabalho do CData Sync, acesse sua instância do CData Sync e verifique a guia Logging & History do seu trabalho. Veja a ilustração abaixo.

Para registrar mais detalhes, defina o Logfile Verbosity como Verbose e execute o script de extração extraction_cdata.ps1 novamente.

Abaixo está uma visão geral dos códigos de retorno de um trabalho CData Sync.

Código	Descrição do registro
0	Extração com SUCESSO para o trabalho.
-1	A extração falhou para o trabalho.
-2	Falha ao executar a extração. Verifique suas configurações ou consulte a guia Registro e histórico do seu trabalho.

Transformações

O arquivo de log também retorna um conjunto de códigos de erro do script de transformação. Abaixo está uma visão geral dos códigos de erro.

Código	Descrição do registro
-1	Falha geral dbt run ou dbt test . Isso significa que há um problema com a configuração atual ou com a configuração. Verifique o LogFile.log para mais detalhes.
0*	A chamada dbt foi concluída sem erros.
1*	A invocação dbt foi concluída com pelo menos um erro tratado (por exemplo erro de sintaxe do modelo, permissões inválidas, etc). A execução foi concluída, mas alguns modelos podem ter sido ignorados. LogFile.log contém informações extras informando se o erro ocorreu na fase dbt run ou dbt test .
2*	A invocação dbt foi concluída com um erro não tratado (por exemplo, uma interrupção de rede).

* 0, 1 e 2 são códigos de retorno específicos do dbt. Consulte a documentação oficial do dbt sobre códigos de saída.

Depurando Grandes Projetos Dbt

Se a execução da transformação demorar muito, response.txt no diretório scripts/ poderá ser inspecionado. Isso contém as respostas em tempo real de dbt. Depois que dbt test ou dbt run forem concluídos, as informações serão anexadas ao LogFile.log e o arquivo temporário será excluído.

Agendamento de extrações de dados

Também é possível agendar extrações de dados em um intervalo regular. Consulte Agendamento da extração de dados.