ai-center
latest
false
- 发行说明
- 入门指南
- 通知
- 项目
- 数据集
- 数据标签
- ML 包
- 开箱即用包
- 管道
- ML 技能
- ML 日志
- AI Center 中的 Document Understanding™
- AI Center API
- 许可
- AI 解决方案模板
- 如何
- 基本故障排除指南
重要 :
请注意此内容已使用机器翻译进行了部分本地化。
新发布内容的本地化可能需要 1-2 周的时间才能完成。
AI Center
上次更新日期 2024年12月23日
训练管道
训练管道用于训练新的机器学习模型。要使用此管道,包必须包含用于训练模型的代码(train.py 文件中的
train()
函数)和用于保留新训练的模型的代码(train.py 文件中的 save()
函数)。它们与数据集或数据集中的子文件夹一起生成新的包版本。
按此处所述创建新的训练管道。确保提供以下特定于训练管道的信息:
- 在“管道类型”字段中,选择“训练运行”。
- 在“选择输入数据集”字段中,选择要从中导入数据以进行训练的数据集或文件夹。在管道运行时,该数据集/文件夹中的所有文件应在传递到
train()
函数的第一个参数所表示的路径上本地可用(也就是说,装载的数据的路径将传递到定义 train(self, data_directory) 中的 data_directory 变量)。 - 在“输入参数”部分中,输入管道定义和使用的任何环境变量(如果有)。默认情况下设置的环境变量为:
artifacts_directory
,默认值为 artifacts:这定义目录的路径,该目录保留为与此管道相关的辅助数据。大多数用户(如果不是所有用户)都不必通过用户界面覆盖此参数。管道执行期间可以保存任何内容,包括图像、pdf 和子文件夹。具体而言,代码在路径os.environ['artifacts_directory']
指定的目录中写入的所有数据都会在管道运行结束时上传,并且可以从“管道详细信息”页面中查看。save_training_data
,默认值为 false:如果设置为 true,则在Choose input dataset
中选择的文件夹将在管道运行结束时作为管道的输出上传到目录data_directory
下。注意:管道执行可能需要一些时间。稍后请返回以查看其状态。执行管道后,将提供包的新的次要版本,并显示在“ML 包”>“[包名称]”页面中。在我们的示例中,这是包版本 1.1。
在“管道”页面中,管道的状态已更改为“成功”。“管道详细信息”页面会显示与管道运行相关的任意文件和文件夹。在我们的示例中,运行创建了一个名为my-training-artifact.txt
的文件。
_results.json
文件包含管道运行执行的摘要,并显示训练管道的所有输入/输出和执行时间。
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"train_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"train_data": "<test_storage_directory>",
"artifacts_data": "<artifacts_storage_directory>",
"package": "<Package_name>",
"version": "<new_version>"
}
}
}
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"train_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"train_data": "<test_storage_directory>",
"artifacts_data": "<artifacts_storage_directory>",
"package": "<Package_name>",
"version": "<new_version>"
}
}
}
ML 包 zip 文件是由训练管道自动生成的新的包版本。
artifacts 文件夹(仅在不为空时可见)用于对管道生成的所有工件进行重新分组,并且保存在
artifacts_directory
文件夹下。
dataset 文件夹(仅当
save_data
设置为默认值 true 时才存在)是评估输入数据集文件夹的副本。