Carregamento de dados usando DataUploader

Com o DataUploader , é possível carregar arquivos de dados de até 5 TB cada diretamente em um aplicativo de processo do Process Mining . Carregar dados usando o DataUploader é mais estável do que carregar dados usando a opção Carregar dados no Process Mining, também para arquivos de dados menores. Se o upload usando o DataUploader falhar, por exemplo, devido a uma conexão instável, o DataUploader tentará carregar novamente até quatro vezes.

Observação:

Sempre se certifique de que os dados estejam no formato necessário para o modelo de aplicativo usado para o aplicativo de processo. Consulte Modelos de aplicativo.

Parâmetros

Abaixo está uma visão geral dos parâmetros para o DataUploader.

Parâmetro	Format	Description	Obrigatório S/N	Exemplo
-c --csv-dir	<csv dir value>	O diretório que contém os arquivos CSV que você deseja carregar. Observação: Este também pode ser um caminho relativo.	Y	C:\Dados P2P
-s --sas-url	<sas url value>	A URL da Assinatura de Acesso Compartilhado (SAS) para o contêiner do Armazenamento de Blobs do Azure em que os arquivos precisarão ser carregados. Consulte Recuperação das credenciais para o armazenamento de blobs do Azure	Y
-e --end-of-upload-api	<value>	URL para a API de fim de upload que será chamada quando os arquivos forem carregados com sucesso. Consulte Recuperação das credenciais para o armazenamento de blobs do Azure	Y
-d --delimiter	<delimiter value>	O código ASII do delimitador usado nos arquivos de entrada. Observação: Deve ser um valor ascii entre 0 e 127. O padrão é 9 (Tab).	N	44 (= Vírgula) 9 (= Tab)
-p --proxy	<proxy value>	A URL do proxy	N
-u --proxy-username	<proxy username>	O nome de usuário se a autenticação for necessária para se conectar ao servidor proxy.	N
-P --proxy-password	<proxy password>	A senha se a autenticação for necessária para se conectar ao servidor proxy.	N
-r --recursive		Procura todos os arquivos na pasta determinada, incluindo as subpastas. Atenção: Se arquivos com nomes duplicados estiverem presentes em pastas diferentes, o comportamento poderá ser imprevisível. Observação: Por padrão, apenas os arquivos na pasta determinada são carregados e as subpastas são ignoradas.
-f --config-file	<config file value>	Permite que você use um arquivo de configuração em vez de parâmetros embutidos. Atenção: Parâmetros embutidos substituem os valores no arquivo de configuração.
-h		Permite que você mostre a ajuda para um comando do DataUploader .

Como baixar o Data Uploader

Use o seguinte link para baixar o DataUploader: https://download.uipath.com/ProcessMining/versions/2.0.3/DataUploader/process-mining-data-uploader.exe

Carregamento de dados usando DataUploader

Siga estas etapas para carregar dados usando o DataUploader.

1. Baixe o DataUploader.

2. Crie uma pasta e copie os arquivos de entrada que você deseja carregar usando o DataUploader nesta pasta.

3. Abra um Powershell do Windows.

4. Navegue até o local em que você baixou o DataUploader.

5. Execute um dos seguintes comandos:

Importante:

Coloque cada valor de parâmetro entre aspas.

process-mining-data-uploader.exe "<csv dir>" "<sas url>" "<end-of-upload api>"

process-mining-data-uploader.exe -c "<myfolder>" -s "<my-sas-uri>" -e "<my-end-of-upload-api>"

process-mining-data-uploader.exe --config-file "path\to\config\file"

Uma barra de progresso é exibida para cada carregamento de arquivo.

Exemplo de string de comando

./process-mining-data-uploader.exe "data" "https://asdf.blob.core.windows.net/a28d10b0-6822-4xxy-a197-02zz39824ad4?sv=2020-06-12&si=sap-a58d10b0-6822-4ffc-a197-02ed649824ad4&sr=c&sig=WELk3bW8zpY5rL71lJ8pPPhlOq0odLNoQleY%2BL3nPqek%3D" "https://asdf.uipath.com/org/tenant/processmining_/api/v4.0/apps/a28d10b0-6822-4ffc-a197-02ed39824ad4/ingest/authenticated?AppSecretToken=A5B221CD00E77F02677G36H572IJKLM61N2440320O44666PQ4RS3T0U81410VW" "44"

Solução de problemas

Tamanho máximo do arquivo

O tamanho máximo do arquivo (por arquivo) é 5TB.

NúmeroDeNovasTentativas

Se o upload falhar, por exemplo, devido a uma conexão instável, o DataUploader tentará carregar novamente até quatro vezes. Se o upload de dados não for bem-sucedido após cinco vezes, um relatório será criado.

AVISO:

Sob determinadas configurações de rede, o DataUploader falha em alcançar a API de fim de upload devido a um certificado autoassinado. Você receberá o erro como UNABLE_TO_GET_ISSUER_CERT_LOCALLY.

Para resolver isso, aponte o DataUploader para o certificado da Autoridade de Certificação (CA) da sua organização.

Siga estas etapas.

1. Crie uma variável de ambiente chamada NODE_EXTRA_CA_CERTS.

2. Defina o valor da nova variável de ambiente como o caminho do arquivo do seu certificado de CA.

Caso alguns dos arquivos tenham falhado no upload, você pode reiniciar DataUploader usando o mesmo comando e com os mesmos arquivos.

Chamando a API de fim de upload

E se meus arquivos forem carregados, mas o ponto de extremidade de fim de upload não for chamado?

Ocasionalmente, pode acontecer que a API de Fim de upload não seja chamada com sucesso, mesmo depois de todos os arquivos serem carregados. Se você não vir o log a seguir após os arquivos serem carregados a partir do carregador de dados, isso significa que a API de Fim de upload não foi chamada com sucesso:

End-of-upload API reached successfully, data transformation started.

Nesse caso, você pode copiar e executar o seguinte código em uma sessão do PowerShell para chamar a API de Fim de upload.

$endOfUploadUri = "*******"
$delimiter = 9 # you can change this to the ascii of the character of your choice
$fullUri = "$endOfUploadUri&dataLoadOptionsJson=%7B%22UseSampleData%22%3Afalse%2C%22FileFormatOptions%22%3A%7B%22FieldDelimiter%22%3A%22$delimiter%22%7D%7D"
$response = Invoke-WebRequest -Uri $fullUri -Method POST
Write-Output $response.StatusCode

Certificados

AVISO:

Sob determinadas configurações de rede, o DataUploader falha em atingir a API de fim de upload devido a um certificado autoassinado, e você receberá um erro como UNABLE_TO_GET_ISSUER_CERT_LOCALLY.

Você pode corrigir isso fornecendo ao DataUploader uma cadeia de certificados válida.

Siga estes passos para fornecer ao DataUploader a cadeia de certificados válida.

1. Acesse o Portal do Process Mining e, na guia de Aplicativos de processo, abra o aplicativo de processo.

2. Navegue até a barra de endereço no navegador da web e selecione o ícone Exibir informações do site à esquerda na barra de endereço.

   
   

   

   
   

3. Selecione A conexão é segura e, em seguida, selecione O certificado é válido para exibir o certificado.

   
   

   

   
   

4. Acesse a guia Detalhes e expanda a Hierarquia de certificado.

5. Selecione a entrada cloud.uipath.com e selecione Exportar....

   
   

   

   
   

6. Selecione um local para salvar o arquivo de certificado no seu computador e certifique-se de salvá-lo como o tipo ASCII codificado em Base64, cadeia de certificados (*.pem;*crt).

   O arquivo cloud.uipath.crt aparecerá no local selecionado.

7. Crie uma variável de ambiente NODE_EXTRA_CA_CERTS e defina o valor dessa variável como o caminho do arquivo completo do certificado selecionado na etapa 6 (incluindo o caminho da pasta, nome do arquivo e extensão do arquivo)

   1. Abra as Propriedades do sistema do Windows.

   2. Vá para a guia Avançado .

   3. Selecione Variáveis de ambiente.

   4. Selecione Novo para adicionar uma nova variável de sistema.

      
      

      

      
      

8. Inicie uma nova sessão do PowerShell para garantir que a variável de ambiente seja reconhecida pelo DataUploader.