ai-center
2022.10
false
- 发行说明
- 在开始之前
- 入门指南
- 安装 AI Center
- 迁移和升级
- 项目
- 数据集
- 数据标签
- ML 包
- 开箱即用包
- 管道
- ML 技能
- ML 日志
- AI Center 中的 Document Understanding™
- 如何
- 许可
- 基本故障排除指南
重要 :
新发布内容的本地化可能需要 1-2 周的时间才能完成。

AI Center 用户指南
上次更新日期 2025年2月26日
训练管道
link训练管道用于训练新的机器学习模型。要使用此管道,包必须包含用于训练模型的代码(train.py 文件中的
train()
函数)和用于保留新训练的模型的代码(train.py 文件中的 save()
函数)。它们与数据集或数据集中的子文件夹一起生成新的包版本。
创建训练管道
link按此处所述创建新的训练管道。确保提供以下特定于训练管道的信息:
- 在“管道类型”字段中,选择“训练运行”。
- 在“选择输入数据集”字段中,选择要从中导入数据以进行训练的数据集或文件夹。在管道运行时,该数据集/文件夹中的所有文件应在传递到
train()
函数的第一个参数所表示的路径上本地可用(也就是说,装载的数据的路径将传递到定义 train(self, data_directory) 中的 data_directory 变量)。 - 在“输入参数”部分中,输入管道定义和使用的任何环境变量(如果有)。默认情况下设置的环境变量为:
artifacts_directory
,默认值为 artifacts:这定义目录的路径,该目录保留为与此管道相关的辅助数据。大多数用户(如果不是所有用户)都不必通过用户界面覆盖此参数。管道执行期间可以保存任何内容,包括图像、pdf 和子文件夹。具体而言,代码在路径os.environ['artifacts_directory']
指定的目录中写入的所有数据都会在管道运行结束时上传,并且可以从“管道详细信息”页面中查看。save_training_data
,默认值为 false:如果设置为 true,则在Choose input dataset
中选择的文件夹将在管道运行结束时作为管道的输出上传到目录data_directory
下。注意:管道执行可能需要一些时间。稍后请返回以查看其状态。执行管道后,将提供包的新的次要版本,并显示在“ML 包”>“[包名称]”页面中。在我们的示例中,这是包版本 1.1。
在“管道”页面中,管道的状态已更改为“成功”。“管道详细信息”页面会显示与管道运行相关的任意文件和文件夹。在我们的示例中,运行创建了一个名为my-training-artifact.txt
的文件。
用于构建自己的训练管道的概念类推
link注意:这是一个简化的示例。其目的是说明数据集和包在训练管道中的交互方式。这些步骤仅是概念性步骤,并不代表平台的工作方式。
-
将包版本 1.0 复制到
~/mlpackage
。 -
从用户界面将选择的输入数据集或数据集子文件夹复制到
~/mlpackage/data
。 -
执行以下 python 代码:
from train import Main m = Main() m.train(‘./data’) m.save()
from train import Main m = Main() m.train(‘./data’) m.save() -
将
~/mlpackage
的内容保留为包版本 1.1。如果写入,则保留工件。如果save_data
设置为 true,则生成数据的快照。
管道输出
link_results.json
文件包含管道运行执行的摘要,并显示训练管道的所有输入/输出和执行时间。
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"train_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"train_data": "<test_storage_directory>",
"artifacts_data": "<artifacts_storage_directory>",
"package": "<Package_name>",
"version": "<new_version>"
}
}
}
{
"parameters": {
"pipeline": "< Pipeline_name >",
"inputs": {
"package": "<Package_name>",
"version": "<version_number>",
"train_data": "<storage_directory>",
"gpu": "True/False"
},
"env": {
"key": "value",
...
}
},
"run_summary": {
"execution_time": <time>, #in seconds
"start_at": <timestamp>, #in seconds
"end_at": <timestamp>, #in seconds
"outputs": {
"train_data": "<test_storage_directory>",
"artifacts_data": "<artifacts_storage_directory>",
"package": "<Package_name>",
"version": "<new_version>"
}
}
}
ML 包 zip 文件是由训练管道自动生成的新的包版本。
artifacts 文件夹(仅在不为空时可见)用于对管道生成的所有工件进行重新分组,并且保存在
artifacts_directory
文件夹下。
dataset 文件夹(仅当
save_data
设置为默认值 true 时才存在)是评估输入数据集文件夹的副本。
模型监管
link很少有公司有能力应对机器学习中的监管问题。 通过允许每个模型生成其训练所基于的数据的快照, AI Center使公司具有数据可追踪性。
实际上,如果传递参数
save_training_data
= true
,则可以生成输入数据的快照,该参数接受传递的数据快照作为输入。此后,用户随时可以导航至相应的“管道详细信息”页面,以准确查看训练时使用了哪些数据。