ai-center
2020.10
false
AI Center
Automation CloudAutomation SuiteStandalone
Last updated 2024年6月6日

训练管道

训练管道用于训练新的机器学习模型。要使用此管道,包必须包含用于训练模型的代码(train.py 文件中的 train() 函数)和用于保留新训练的模型的代码(train.py 文件中的 save() 函数)。它们与数据集或数据集中的子文件夹一起生成新的包版本。

创建训练管道

此处所述创建新的训练管道。确保提供以下特定于训练管道的信息:

  • 在“管道类型”字段中,选择“训练运行”
  • “选择输入数据集”字段中,选择要从中导入数据以进行训练的数据集或文件夹。在管道运行时,该数据集/文件夹中的所有文件应在传递到 train() 函数的第一个参数所表示的路径上本地可用(也就是说,装载的数据的路径将传递到定义 train(self, data_directory) 中的 data_directory 变量)。
  • “输入参数”部分中,输入管道定义和使用的任何环境变量(如果有)。默认情况下设置的环境变量为:
    • artifacts_directory,默认值为 artifacts:这定义目录的路径,该目录保留为与此管道相关的辅助数据。大多数用户(如果不是所有用户)都不必通过用户界面覆盖此参数。管道执行期间可以保存任何内容,包括图像、pdf 和子文件夹。具体而言,代码在路径 os.environ['artifacts_directory'] 指定的目录中写入的所有数据都会在管道运行结束时上传,并且可以从“管道详细信息”页面中查看。
    • save_training_data,默认值为 false:如果设置为 true,则在 Choose input dataset 中选择的文件夹将在管道运行结束时作为管道的输出上传到目录 data_directory 下。

      观看以下视频,了解如何创建训练管道:



训练管道运行执行的结果

注意:管道执行可能需要一些时间。稍后请返回以查看其状态。

执行管道后,将提供包的新的次要版本,并显示在“ML 包”>“[包名称]”页面中。在我们的示例中,这是包版本 1.1。

“管道”页面中,管道的状态已更改为“成功”“管道详细信息”页面会显示与管道运行相关的任意文件和文件夹。在我们的示例中,运行创建了一个名为 my-training-artifact.txt 的文件。


用于构建自己的训练管道的概念类推

以下是某个包(例如版本 1.0)上的训练管道执行的概念类推。

重要事项:这是一个简化的示例。其目的是说明数据集和包在训练管道中的交互方式。这些步骤仅是概念性步骤,并不代表平台的工作方式。
  1. 将包版本 1.0 复制到 ~/mlpackage
  2. 从用户界面将选择的输入数据集数据集子文件夹复制到 ~/mlpackage/data
  3. 执行以下 python 代码:
    from train import Main 
    m = Main() 
    m.train(./data’) 
    m.save()from train import Main 
    m = Main() 
    m.train(‘./data’) 
    m.save()
  4. ~/mlpackage 的内容保留为包版本 1.1。如果写入,则保留工件。如果 save_data 设置为 true,则生成数据的快照。

管道输出

_results.json 文件包含管道运行执行的摘要,并显示训练管道的所有输入/输出和执行时间。
{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}

ML 包 zip 文件是由训练管道自动生成的新的包版本。

artifacts 文件夹(仅在不为空时可见)用于对管道生成的所有工件进行重新分组,并且保存在 artifacts_directory 文件夹下。
dataset 文件夹(仅当 save_data 设置为默认值 true 时才存在)是评估输入数据集文件夹的副本。

模型监管

很少有公司有能力应对机器学习中的监管问题。通过允许每个模型生成其训练所基于的数据的快照,AI Fabric 使公司具有数据可追踪性。

实际上,如果传递参数 save_training_data = true,则可以生成输入数据的快照,该参数接受传递的数据快照作为输入。此后,用户随时可以导航至相应的“管道详细信息”页面,以准确查看训练时使用了哪些数据。
  • 创建训练管道
  • 训练管道运行执行的结果
  • 用于构建自己的训练管道的概念类推
  • 管道输出
  • 模型监管

此页面有帮助吗?

获取您需要的帮助
了解 RPA - 自动化课程
UiPath Community 论坛
Uipath Logo White
信任与安全
© 2005-2024 UiPath。保留所有权利。