DataUploader を使用してデータを読み込む

DataUploader では、最大 5 TB の各データファイルを Process Mining のプロセスアプリに直接アップロードできます。DataUploader を使用したデータの読み込みは、 Process Mining の [データをアップロード] オプションを使用したデータの読み込みよりも安定します。小さいデータファイルの場合でも同様です。もし、DataUploader を使用したアップロードが不安定な接続などを理由に失敗した場合、DataUploader はアップロードを最大で 4 回リトライします。

注:

データが、プロセスアプリに使用するアプリテンプレートで求められる形式であることを必ず確認してください。詳しくは、「アプリテンプレート」をご覧ください。

パラメーター

DataUploader のパラメーターの概要は以下のとおりです。

パラメーター	形式	説明	必須 Y/N	例
`-c` `--csv-dir`	<csv dir value>	アップロードする CSV ファイルを含むディレクトリです。注: 相対パスも指定できます。	Y	C:\P2P データ
`-s` `--sas-url`	<sas url value>	ファイルをアップロードする必要がある Azure BLOB ストレージコンテナーの共有アクセス署名 (SAS) の URL です。「Azure BLOB ストレージの資格情報を取得する」をご覧ください。	Y
`-e` `--end-of-upload-api`	<value>	ファイルが正常にアップロードされたときに呼び出される End-of-Upload-API の URL です。「Azure BLOB ストレージの資格情報を取得する」をご覧ください。	Y
`-d` `--delimiter`	<delimiter value>	入力ファイルで使用される区切り文字の ASII コードです。注: これは、`0` から `127` の範囲の ASCII 値でなければなりません。既定値は `9` (タブ) です。	n	`44` (= コンマ) `9` (= Tab)
`-p` `--proxy`	<proxy value>	プロキシの URL です。	n
`-u` `--proxy-username`	<proxy username>	プロキシサーバーに接続するために認証が必要な場合のユーザー名です。	n
`-P` `--proxy-password`	<proxy password>	プロキシサーバーに接続するために認証が必要な場合のパスワードです。	n
`-r` `--recursive`		指定したフォルダー内のすべてのファイルを、サブフォルダーを含めて検索します。注意: 重複する名前のファイルが異なるフォルダーに存在する場合、想定外の挙動が発生する可能性があります。注: 既定では、指定したフォルダー内のファイルのみがアップロードされ、サブフォルダーは無視されます。
`-f` `--config-file`	<config file value>	インラインパラメーターの代わりに構成ファイルを使用できます。注意: インラインパラメーターは、構成ファイルの値を上書きします。
`-h`		DataUploader コマンドのヘルプを表示できます。

DataUploader をダウンロードする

https://download.uipath.com/ProcessMining/versions/2.0.3/DataUploader/process-mining-data-uploader.exe を使用して DataUploader をダウンロードします。

DataUploader を使用してデータを読み込む

DataUploader を使用してデータを読み込むには、以下の手順に従います。

DataUploader をダウンロードします。
フォルダーを作成し、DataUploader を使用してアップロードする入力ファイルをこのフォルダーにコピーします。
Windows PowerShell を開きます。
DataUploader をダウンロードした場所に移動します。
次のいずれかのコマンドを実行します。

重要:

各パラメーター値は引用符で囲んでください。

process-mining-data-uploader.exe "<csv dir>" "<sas url>" "<end-of-upload api>"process-mining-data-uploader.exe "<csv dir>" "<sas url>" "<end-of-upload api>"

process-mining-data-uploader.exe -c "<myfolder>" -s "<my-sas-uri>" -e "<my-end-of-upload-api>"process-mining-data-uploader.exe -c "<myfolder>" -s "<my-sas-uri>" -e "<my-end-of-upload-api>"

process-mining-data-uploader.exe --config-file "path\to\config\file"process-mining-data-uploader.exe --config-file "path\to\config\file"

ファイルのアップロードそれぞれに対して進行状況バーが表示されます。

コマンド文字列の例

./process-mining-data-uploader.exe "data" "https://asdf.blob.core.windows.net/a28d10b0-6822-4xxy-a197-02zz39824ad4?sv=2020-06-12&si=sap-a58d10b0-6822-4ffc-a197-02ed649824ad4&sr=c&sig=WELk3bW8zpY5rL71lJ8pPPhlOq0odLNoQleY%2BL3nPqek%3D" "https://asdf.uipath.com/org/tenant/processmining_/api/v4.0/apps/a28d10b0-6822-4ffc-a197-02ed39824ad4/ingest/authenticated?AppSecretToken=A5B221CD00E77F02677G36H572IJKLM61N2440320O44666PQ4RS3T0U81410VW" "44"./process-mining-data-uploader.exe "data" "https://asdf.blob.core.windows.net/a28d10b0-6822-4xxy-a197-02zz39824ad4?sv=2020-06-12&si=sap-a58d10b0-6822-4ffc-a197-02ed649824ad4&sr=c&sig=WELk3bW8zpY5rL71lJ8pPPhlOq0odLNoQleY%2BL3nPqek%3D" "https://asdf.uipath.com/org/tenant/processmining_/api/v4.0/apps/a28d10b0-6822-4ffc-a197-02ed39824ad4/ingest/authenticated?AppSecretToken=A5B221CD00E77F02677G36H572IJKLM61N2440320O44666PQ4RS3T0U81410VW" "44"

トラブルシューティング

最大ファイルサイズ

最大ファイルサイズ (ファイルあたり) は 5 TB です。

リトライの回数

もしアップロードが不安定な接続などを理由に失敗した場合、DataUploader はアップロードを最大で 4 回リトライします。5 回試行してもデータのアップロードが成功しなかった場合、レポートが作成されます。

警告:

特定のネットワーク構成では、自己署名証明書が原因で DataUploader が end-of-upload API に到達できず、UNABLE_TO_GET_ISSUER_CERT_LOCALLY などのエラーが発生します。

これは、DataUploader が組織の証明機関 (CA) の証明書を指定することで解決できます。

次の手順を実行します。

NODE_EXTRA_CA_CERTS という環境変数を作成します。
新しい環境変数の値を CA 証明書のファイルパスに設定します。

アップロードに失敗したファイルがある場合は、同じコマンドと同じファイルを使用して DataUploader を再度開始できます。

end of upload API の呼び出し

ファイルがアップロードされているのに、end of upload エンドポイントが呼び出されない場合はどうすればよいですか?

すべてのファイルがアップロードされた後でも、end of upload API が正常に呼び出されないことがあります。データアップローダーからファイルをアップロードした後に次のログが表示されない場合は、end of upload API が正常に呼び出されなかったことを意味します。

End-of-upload API reached successfully, data transformation started.

この場合、PowerShell セッションで次のコードをコピーして実行し、end of upload API を呼び出すことができます。

$endOfUploadUri = "*******"
$delimiter = 9 # you can change this to the ascii of the character of your choice
$fullUri = "$endOfUploadUri&dataLoadOptionsJson=%7B%22UseSampleData%22%3Afalse%2C%22FileFormatOptions%22%3A%7B%22FieldDelimiter%22%3A%22$delimiter%22%7D%7D"
$response = Invoke-WebRequest -Uri $fullUri -Method POST
Write-Output $response.StatusCode$endOfUploadUri = "*******"
$delimiter = 9 # you can change this to the ascii of the character of your choice
$fullUri = "$endOfUploadUri&dataLoadOptionsJson=%7B%22UseSampleData%22%3Afalse%2C%22FileFormatOptions%22%3A%7B%22FieldDelimiter%22%3A%22$delimiter%22%7D%7D"
$response = Invoke-WebRequest -Uri $fullUri -Method POST
Write-Output $response.StatusCode

証明書

警告:

ネットワーク構成によっては、自己署名証明書が原因で DataUploader が end-of-upload API に到達できず、次のようなエラーが発生します。UNABLE_TO_GET_ISSUER_CERT_LOCALLY。

有効な証明書チェーンを DataUploader に指定することで、この問題を修正できます。

有効な証明書チェーンを DataUploader に指定するには以下の手順に従います。

Process Mining ポータルに移動し、[プロセスアプリ] タブからプロセスアプリを開きます。
Web ブラウザーでアドレスバーに移動し、その左側にある [サイト情報を表示] アイコンを選択します。
[この接続は保護されています] を選択し、[証明書は有効です] を選択して証明書を表示します。
[詳細] タブに移動し、[証明書の階層] を展開します。
cloud.uipath.com エントリを選択し、[エクスポート...] を選択します。
コンピューター上で証明書ファイルの保存先とする場所を選択し、必ず Base64 エンコードの ASCII による証明書チェーン (*.pem;*crt) タイプとして保存されるようにします。

選択した場所に cloud.uipath.crt ファイルが表示されます。
環境変数 NODE_EXTRA_CA_CERTS を作成し、その値を、手順 6 で選択した証明書ファイルのフルパス (フォルダーパス、ファイル名、ファイル拡張子で構成するパス) に設定します。
1. Windows の [システムのプロパティ] を開きます。
2. [Advanced] タブに移動します。
3. [環境変数] を選択します。
4. [新規] を選択して、新しいシステム変数を追加します。
新しい PowerShell セッションを開始して、この環境変数が DataUploader で認識されることを確認します。