Carregamento de dados usando DataUploader

Com o DataUploader , é possível carregar arquivos de dados de até 5 TB cada diretamente em um aplicativo de processo do Process Mining . Carregar dados usando o DataUploader é mais estável do que carregar dados usando a opção Carregar dados no Process Mining, também para arquivos de dados menores. Se o upload usando o DataUploader falhar, por exemplo, devido a uma conexão instável, o DataUploader tentará carregar novamente até quatro vezes.

Observação:

Always make sure that the data is in the required format for the app template used for the process app. Refer to App Templates.

Parâmetros

Abaixo está uma visão geral dos parâmetros para o DataUploader.

Parâmetro	Format	Description	Obrigatório S/N	Exemplo
-c --csv-dir	<csv dir value>	O diretório que contém os arquivos CSV que você deseja carregar. Observação: Este também pode ser um caminho relativo.	Y	C:\Dados P2P
-s --sas-url	<sas url value>	A URL da Assinatura de Acesso Compartilhado (SAS) para o contêiner do Armazenamento de Blobs do Azure em que os arquivos precisarão ser carregados. Consulte Recuperação das credenciais para o armazenamento de blobs do Azure	Y
-e --end-of-upload-api	<value>	URL para a API de fim de upload que será chamada quando os arquivos forem carregados com sucesso. Consulte Recuperação das credenciais para o armazenamento de blobs do Azure	Y
-d --delimiter	<delimiter value>	O código ASII do delimitador usado nos arquivos de entrada. Observação: Deve ser um valor ascii entre 0 e 127. O padrão é 9 (Tab).	N	44 (= Vírgula) 9 (= Tab)
-p --proxy	<proxy value>	A URL do proxy	N
-u --proxy-username	<proxy username>	O nome de usuário se a autenticação for necessária para se conectar ao servidor proxy.	N
-P --proxy-password	<proxy password>	A senha se a autenticação for necessária para se conectar ao servidor proxy.	N
-r --recursive		Procura todos os arquivos na pasta determinada, incluindo as subpastas. Atenção: Se arquivos com nomes duplicados estiverem presentes em pastas diferentes, o comportamento poderá ser imprevisível. Observação: Por padrão, apenas os arquivos na pasta determinada são carregados e as subpastas são ignoradas.
-f --config-file	<config file value>	Permite que você use um arquivo de configuração em vez de parâmetros embutidos. Atenção: Parâmetros embutidos substituem os valores no arquivo de configuração.
-h		Permite que você mostre a ajuda para um comando do DataUploader .

Como baixar o Data Uploader

Use o seguinte link para baixar o DataUploader: https://download.uipath.com/ProcessMining/versions/2.0.3/DataUploader/process-mining-data-uploader.exe

Carregamento de dados usando DataUploader

Siga estas etapas para carregar dados usando o DataUploader.

1. Baixe o DataUploader.

2. Crie uma pasta e copie os arquivos de entrada que você deseja carregar usando o DataUploader nesta pasta.

3. Abra um Powershell do Windows.

4. Navegue até o local em que você baixou o DataUploader.

5. Execute um dos seguintes comandos:

Importante:

Coloque cada valor de parâmetro entre aspas.

process-mining-data-uploader.exe "<csv dir>" "<sas url>" "<end-of-upload api>"

process-mining-data-uploader.exe -c "<myfolder>" -s "<my-sas-uri>" -e "<my-end-of-upload-api>"

process-mining-data-uploader.exe --config-file "path\to\config\file"

Uma barra de progresso é exibida para cada carregamento de arquivo.

Exemplo de string de comando

./process-mining-data-uploader.exe "data" "https://asdf.blob.core.windows.net/a28d10b0-6822-4xxy-a197-02zz39824ad4?sv=2020-06-12&si=sap-a58d10b0-6822-4ffc-a197-02ed649824ad4&sr=c&sig=WELk3bW8zpY5rL71lJ8pPPhlOq0odLNoQleY%2BL3nPqek%3D" "https://asdf.uipath.com/org/tenant/processmining_/api/v4.0/apps/a28d10b0-6822-4ffc-a197-02ed39824ad4/ingest/authenticated?AppSecretToken=A5B221CD00E77F02677G36H572IJKLM61N2440320O44666PQ4RS3T0U81410VW" "44"

Solução de problemas

Maximum file size

O tamanho máximo do arquivo (por arquivo) é 5TB.

Number of retries

Se o upload falhar, por exemplo, devido a uma conexão instável, o DataUploader tentará carregar novamente até quatro vezes. Se o upload de dados não for bem-sucedido após cinco vezes, um relatório será criado.

AVISO:

Sob determinadas configurações de rede, o DataUploader falha em alcançar a API de fim de upload devido a um certificado autoassinado. Você receberá o erro como UNABLE_TO_GET_ISSUER_CERT_LOCALLY.

Para resolver isso, aponte o DataUploader para o certificado da Autoridade de Certificação (CA) da sua organização.

Siga estas etapas.

1. Crie uma variável de ambiente chamada NODE_EXTRA_CA_CERTS.

2. Defina o valor da nova variável de ambiente como o caminho do arquivo do seu certificado de CA.

Caso alguns dos arquivos tenham falhado no upload, você pode reiniciar DataUploader usando o mesmo comando e com os mesmos arquivos.

Calling End of upload API

What if my files are uploaded, but end of upload endpoint is not called?

Occasionally, it can happen that End of upload API is not called successfully, even after all files are uploaded. If you do not see following log after files are uploaded from data uploader, it means that End of upload API was not called successfully:

End-of-upload API reached successfully, data transformation started.

In this case, you can copy and run the following code in a PowerShell session to call the End of upload API.

$endOfUploadUri = "*******"
$delimiter = 9 # you can change this to the ascii of the character of your choice
$fullUri = "$endOfUploadUri&dataLoadOptionsJson=%7B%22UseSampleData%22%3Afalse%2C%22FileFormatOptions%22%3A%7B%22FieldDelimiter%22%3A%22$delimiter%22%7D%7D"
$response = Invoke-WebRequest -Uri $fullUri -Method POST
Write-Output $response.StatusCode

Certificados

AVISO:

Sob determinadas configurações de rede, o DataUploader falha em atingir a API de fim de upload devido a um certificado autoassinado, e você receberá um erro como UNABLE_TO_GET_ISSUER_CERT_LOCALLY.

Você pode corrigir isso fornecendo ao DataUploader uma cadeia de certificados válida.

Siga estes passos para fornecer ao DataUploader a cadeia de certificados válida.

1. Acesse o Portal do Process Mining e, na guia de Aplicativos de processo, abra o aplicativo de processo.

2. Navegue até a barra de endereço no navegador da web e selecione o ícone Exibir informações do site à esquerda na barra de endereço.

   
   

   

   
   

3. Selecione A conexão é segura e, em seguida, selecione O certificado é válido para exibir o certificado.

   
   

   

   
   

4. Acesse a guia Detalhes e expanda a Hierarquia de certificado.

5. Selecione a entrada cloud.uipath.com e selecione Exportar....

   
   

   

   
   

6. Selecione um local para salvar o arquivo de certificado no seu computador e certifique-se de salvá-lo como o tipo ASCII codificado em Base64, cadeia de certificados (*.pem;*crt).

   O arquivo cloud.uipath.crt aparecerá no local selecionado.

7. Crie uma variável de ambiente NODE_EXTRA_CA_CERTS e defina o valor dessa variável como o caminho do arquivo completo do certificado selecionado na etapa 6 (incluindo o caminho da pasta, nome do arquivo e extensão do arquivo)

   1. Abra as Propriedades do sistema do Windows.

   2. Vá para a guia Avançado .

   3. Selecione Variáveis de ambiente.

   4. Selecione Novo para adicionar uma nova variável de sistema.

      
      

      

      
      

8. Initiate a new PowerShell session to ensure that the environment variable is recognized by the DataUploader.