训练管道

训练管道用于训练新的机器学习模型。要使用此管道，包必须包含用于训练模型的代码（train.py 文件中的 train() 函数）和用于保留新训练的模型的代码（train.py 文件中的 save() 函数）。它们与数据集或数据集中的子文件夹一起生成新的包版本。

创建训练管道

按此处所述创建新的训练管道。确保提供以下特定于训练管道的信息：

• 在“管道类型”字段中，选择“训练运行”。
• 在“选择输入数据集”字段中，选择要从中导入数据以进行训练的数据集或文件夹。在管道运行时，该数据集/文件夹中的所有文件应在传递到 train() 函数的第一个参数所表示的路径上本地可用（也就是说，装载的数据的路径将传递到定义 train(self, data_directory) 中的 data_directory 变量）。
• 在“输入参数”部分中，输入管道定义和使用的任何环境变量（如果有）。默认情况下设置的环境变量为：
  • artifacts_directory，默认值为 artifacts：这定义目录的路径，该目录保留为与此管道相关的辅助数据。大多数用户（如果不是所有用户）都不必通过用户界面覆盖此参数。管道执行期间可以保存任何内容，包括图像、pdf 和子文件夹。具体而言，代码在路径 os.environ['artifacts_directory'] 指定的目录中写入的所有数据都会在管道运行结束时上传，并且可以从“管道详细信息”页面中查看。
  • save_training_data，默认值为 false：如果设置为 true，则在 Choose input dataset 中选择的文件夹将在管道运行结束时作为管道的输出上传到目录 data_directory 下。

    观看以下视频，了解如何创建训练管道：

    
    
    
    
    

训练管道运行执行的结果

注意：管道执行可能需要一些时间。稍后请返回以查看其状态。

执行管道后，将提供包的新的次要版本，并显示在“ML 包”>“[包名称]”页面中。在我们的示例中，这是包版本 1.1。

在“管道”页面中，管道的状态已更改为“成功”。“管道详细信息”页面会显示与管道运行相关的任意文件和文件夹。在我们的示例中，运行创建了一个名为 my-training-artifact.txt 的文件。

用于构建自己的训练管道的概念类推

以下是某个包（例如版本 1.0）上的训练管道执行的概念类推。

重要事项：这是一个简化的示例。其目的是说明数据集和包在训练管道中的交互方式。这些步骤仅是概念性步骤，并不代表平台的工作方式。

1. 将包版本 1.0 复制到 ~/mlpackage。
2. 从用户界面将选择的输入数据集或数据集子文件夹复制到 ~/mlpackage/data。
3. 执行以下 python 代码：

   from train import Main 
   m = Main() 
   m.train(‘./data’) 
   m.save()

4. 将 ~/mlpackage 的内容保留为包版本 1.1。如果写入，则保留工件。如果 save_data 设置为 true，则生成数据的快照。

管道输出

_results.json 文件包含管道运行执行的摘要，并显示训练管道的所有输入/输出和执行时间。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "train_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "train_data": "<test_storage_directory>", 
        "artifacts_data": "<artifacts_storage_directory>", 
        "package": "<Package_name>",
        "version": "<new_version>"
            }
    }
}

ML 包 zip 文件是由训练管道自动生成的新的包版本。

artifacts 文件夹（仅在不为空时可见）用于对管道生成的所有工件进行重新分组，并且保存在 artifacts_directory 文件夹下。

dataset 文件夹（仅当 save_data 设置为默认值 true 时才存在）是评估输入数据集文件夹的副本。

模型监管

很少有公司有能力应对机器学习中的监管问题。通过允许每个模型生成其训练所基于的数据的快照，AI Fabric 使公司具有数据可追踪性。

实际上，如果传递参数 save_training_data = true，则可以生成输入数据的快照，该参数接受传递的数据快照作为输入。此后，用户随时可以导航至相应的“管道详细信息”页面，以准确查看训练时使用了哪些数据。