ingestões de uip pm, transformações de uip pm

Sintaxe e opções para disparar e inspecionar ingestões de dados do Process Mining e transformações dbt com "uip pm ingestões" e "uip pm transformações".

Parte da ferramenta uip pm . ingestions carrega arquivos de dados carregados em um aplicativo de processos; transformations gerencia e executa os modelos dbt SQL que reformulam os dados ingeridos nas tabelas consultadas do aplicativo. Ambos são compatíveis com --wait para bloquear até que uma execução termine — consulte Conceitos na página principal.

Resumo

uip pm ingestions create <app-id> [--stage dev|published] [--file-format csv|tsv] [--field-delimiter <char>] [--quote-character <char>] [--encoding utf-8|iso-8859-1] [--wait] [--timeout <s>] [--poll-interval <s>]
uip pm ingestions cancel <app-id> <ingestion-id> [--stage dev|published]
uip pm ingestions logs <app-id> <ingestion-id> [--stage dev|published] [--limit <n>] [--offset <n>]

uip pm transformations list <app-id> [--stage dev|published]
uip pm transformations get <app-id> <path> [--stage dev|published] [--destination <file>]
uip pm transformations create <app-id> <path> --file <local-file> [--stage dev|published]
uip pm transformations update <app-id> <path> --file <local-file> --etag <etag> [--stage dev|published]
uip pm transformations run <app-id> [--model <path>] [--wait] [--timeout <s>] [--poll-interval <s>]
uip pm transformations apply <app-id> [--stage dev|published] [--wait] [--timeout <s>] [--poll-interval <s>]
uip pm transformations cancel <app-id>
uip pm transformations status <app-id>
uip pm transformations logs <app-id>

ingestões de uip pm criar

Dispare uma ingestão dos arquivos de dados carregados.

Argumentos

Name	Required	Finalidade
<app-id>	sim	ID do aplicativo de processo.

Opções

Long	Valor	Padrão	Description
--stage <stage>	dev | published	dev	Estágio de aplicativo no qual fazer a ingestão.
--file-format <format>	csv | tsv	csv	Formato do arquivo de dados.
--field-delimiter <char>	String	,	Delimitador de campo nos arquivos de dados.
--quote-character <char>	String	"	Campos de caracteres entre aspas.
--encoding <encoding>	utf-8 | iso-8859-1	utf-8	Codificação de arquivo.
--wait	Bandeira	desativada	Bloquear até que a ingestão atinja um estado terminal; sair diferente de zero na falha.
--timeout <seconds>	Número inteiro	1800	Máximo de segundos para esperar quando --wait está definido.
--poll-interval <seconds>	Número inteiro	5	Segundos entre pesquisas de status quando --wait está definido.

Exemplo

uip pm ingestions create 9c46289e --file-format csv --encoding iso-8859-1

Formato dos dados (--output json)

Sem --wait:

{ "Code": "PmIngestionsCreate", "Data": { "Status": "Accepted", "Message": "Ingestion started. Poll 'uip pm apps list' (LastIngestion) for progress." } }

Com --wait:

{ "Code": "PmIngestionsCreate", "Data": { "Status": "SUCCESS", "IngestionId": "1d7e1421" } }

Na falha --wait, sai diferente de zero com as próprias linhas de log de erro da ingestão (via ingestions logs) dobradas na mensagem de falha.

ingestões de uip pm cancelamento

Cancele uma ingestão que ainda está em execução.

Argumentos

Name	Required	Finalidade
<app-id>	sim	ID do aplicativo de processo.
<ingestion-id>	sim	ID de ingestão (uip pm apps get <app-id> mostra LastIngestion).

Opções

Long	Valor	Padrão	Description
--stage <stage>	dev | published	dev	Estágio do aplicativo em que a ingestão é executada.

Exemplo

uip pm ingestions cancel 9c46289e 1d7e1421

Formato dos dados (--output json)

{ "Code": "PmIngestionsCancel", "Data": { "AppId": "9c46289e", "IngestionId": "1d7e1421", "Status": "Cancelling" } }

logs de ingestões do uip pm

Obtenha os logs de uma execução de ingestão.

Argumentos

Name	Required	Finalidade
<app-id>	sim	ID do aplicativo de processo.
<ingestion-id>	sim	ID de ingestão.

Opções

Long	Valor	Padrão	Description
--stage <stage>	dev | published	dev	Estágio do aplicativo em que a ingestão foi executada.
--limit <number>	Número inteiro	100	Máximo de entradas de log a serem buscadas (tamanho da página).
--offset <number>	Número inteiro	0	Número de entradas de log a serem ignoradas antes da página.

Exemplo

uip pm ingestions logs 9c46289e 1d7e1421 --limit 50 --offset 50

Formato dos dados (--output json)

{ "Code": "PmIngestionsLogs", "Data": [{ "Message": "Data run started" }] }

lista de transformações do uip pm

Liste os arquivos de transformação (modelo dbt) de um aplicativo de processo.

Nome/Opção	Required	Finalidade
<app-id>	sim	ID do aplicativo de processo.
--stage <stage>	não	dev | published, padrão dev.

{ "Code": "PmTransformationsList", "Data": {} }

transformações de uip pm Obter

Obtenha o conteúdo de um arquivo de transformação, mais sua ETag — que update requer como --etag.

Nome/Opção	Required	Finalidade
<app-id>	sim	ID do aplicativo de processo.
<path>	sim	Caminho do arquivo de transformação, por exemplo models/Cases.sql).
--stage <stage>	não	dev | published, padrão dev.
--destination <local-file>	não	Grave conteúdo neste arquivo local em vez do envelope de saída.

{ "Code": "PmTransformationsGet", "Data": { "Path": "models/Cases.sql", "ETag": "W/\"...\"", "Content": "select ..." } }

transformações uip pm criar

Crie um novo arquivo de transformação a partir de um arquivo local. Use update para modificar um existente — isso falha se o caminho já existir.

Opções

Long	Valor	Required	Description
--file <local-file>	Path	sim	Arquivo local com o novo conteúdo.
--stage <stage>	dev | published	não	devPadrão.

uip pm transformations create 9c46289e models/Workload.sql --file ./Workload.sql

{ "Code": "PmTransformationsCreate", "Data": { "Path": "models/Workload.sql", "ETag": "W/\"...\"" } }

atualização de transformações do uip pm

Atualize um arquivo de transformação de um arquivo local (ETag-safe).

Opções

Long	Valor	Required	Description
--file <local-file>	Path	sim	Arquivo local com o novo conteúdo.
--etag <etag>	String	sim	ETag do arquivo no qual esta edição é baseada, de transformations get.
--stage <stage>	dev | published	não	devPadrão.

uip pm transformations update 9c46289e models/Cases.sql --file ./Cases.sql --etag 'W/"639204059477096903"'

{ "Code": "PmTransformationsUpdate", "Data": { "Path": "models/Cases.sql", "ETag": "W/\"639209312397638135\"" } }

Um --etag obsoleto falha com um conflito — leia novamente por meio de transformations get, refaça a edição e tente novamente.

transformações do uip pm execução

Execute as transformações dbt no estágio dev — cria apenas modelos alterados/dependentes. Use apply para forçar uma nova execução completa em dados já ingeridos.

Opções

Long	Valor	Padrão	Description
--stage <stage>	dev	dev	Apenas dev é compatível.
--model <model-path>	Path	—	Executar apenas este modelo (por exemplo models/Cases.sql) e seus dependentes. Omita para executar tudo.
--wait	Bandeira	desativada	Bloquear até que a compilação atinja um estado terminal; saia diferente de zero em caso de falha (imprime automaticamente o erro dbt).
--timeout <seconds>	Número inteiro	1800	Máx. de segundos para aguardar.
--poll-interval <seconds>	Número inteiro	5	Segundos entre pesquisas.

Exemplo

uip pm transformations run 9c46289e --model models/Cases.sql

Formato dos dados (--output json)

{ "Code": "PmTransformationsRun", "Data": { "Status": "Accepted", "Message": "Build started. Re-run with --wait to block until it finishes, or poll 'uip pm transformations status 9c46289e'." } }

transformações uip pm cancelar

Cancele a compilação dbt atualmente em execução no dev.

uip pm transformations cancel 9c46289e

{ "Code": "PmTransformationsCancel", "Data": { "AppId": "9c46289e", "Status": "Cancelling" } }

transformações de uip pm se aplicam

Execute novamente a transformação de dados completa em dados já ingeridos (ao contrário de run, que cria apenas modelos de dev alterados).

Long	Valor	Padrão	Description
--stage <stage>	dev | published	dev	Estágio de aplicativo.
--wait	Bandeira	desativada	Bloquear até que a transformação atinja um estado terminal; sair diferente de zero na falha.
--timeout <seconds>	Número inteiro	1800	Máx. de segundos para aguardar.
--poll-interval <seconds>	Número inteiro	5	Segundos entre pesquisas.

uip pm transformations apply 9c46289e

{ "Code": "PmTransformationsApply", "Data": { "Status": "Accepted", "Message": "Transform started. Poll 'uip pm apps list' (LastIngestion) for progress." } }

status de transformações do uip pm

Obter o status da compilação de transformação atual/última.

uip pm transformations status 9c46289e

{ "Code": "PmTransformationsStatus", "Data": {} }

logs de transformações do uip pm

Obtenha os logs da compilação de transformação atual/última.

uip pm transformations logs 9c46289e

{ "Code": "PmTransformationsLogs", "Data": {} }

Relacionado

• uip pm — visão geral, apps, files.
• apps model — alterações de modelo/campo/mapeamento de dados que precisam de nova ingestão ou nova transformação para entrar em vigor.
• conformance, deviations e query — analise o resultado.

Veja também

• Opções globais
• Códigos de saída