管理管道

创建管道

1. 在“管道”页面中，单击“新建”按钮。系统将显示“新建管道运行”页面。

   或者，在特定包的“ML 包详细信息”中，选择“管道运行”，然后单击“新建”按钮。系统将显示“新建管道运行”页面。

2. 在“新建管道运行”页面中，选择管道运行的类型。可用选项包括：“训练运行”、“评估运行”和“完整管道运行”。
3. 为管道运行添加显示名称。
4. 选择用于管道运行的包。
5. 选择包的主要版本和次要版本。
6. 选择数据集。根据所选管道类型，必须指定以下数据集：
   • 对于训练管道，请指定输入数据集。
   • 对于评估管道，请指定评估数据集。
   • 对于完整管道运行，请指定输入数据集和评估数据集。
7. 可选：输入管道运行的参数。 单击“新增” 以显示“参数”部分，然后输入环境变量及其相应的值。 接受多个参数。
8. 选择管道是否需要GPU 。 默认情况下，它设置为“否” 。
   注意：如果您使用的是 AI Unit 许可模型，则每小时的 AI Unit 成本将显示在“启用 GPU”切换按钮下。根据您是否选择使用 GPU，每小时成本会有所不同。
   注意：您可以根据 GPU 资源对管道进行排队。 有关更多信息，请参阅配置 GPU 资源队列。
9. 选择管道的运行时间。可能的选项包括：
   • “立即运行”- 管道在创建后立即开始运行。
   • “基于时间”- 管道按照您在“日期”和“时间”字段中指定的日期和时间开始运行。
   • “循环”- 管道按照您在“设置定期计划”窗口中设置的定期计划开始运行。您可以将其设置为在特定工作日的特定时间运行，也可以使用 CRON 表达式。

   在此处阅读有关计划管道的更多信息。

10. 单击“创建”以创建管道，或单击“取消”以中止该过程。系统将关闭“新建管道运行”页面。
    
    

    

    
    

系统将创建管道，并将该管道及其详细信息显示在“管道”页面和所选包的“ML 包详细信息”页面的“管道运行”选项卡中。管道将根据您在创建管道时选择的时间范围运行。

计划管道

在创建过程中，可以在未来的单个日期和时间计划任何管道类型，也可以使用周期性计划。例如，可以为管道设置计划，使其在周日晚上 1 点执行。这样，模型可以在数据从人机回圈任务中返回时持续更新，此外还可以更有效地使用 AI Unit 许可证。

⏲ 要创建计划为在单个未来日期运行的管道，请在“新建管道运行”页面中选择“基于时间”选项。

📅 要创建使用定期计划的管道，请在“新建管道运行”页面中选择“循环”选项。

⚙ 通过选择“设置定期计划”窗口中的“高级”选项卡并输入 CRON 表达式，可以设置比每天在某个时间运行一次更复杂的计划。有许多免费的在线工具可用于轻松生成 CRON 表达式。

配置 GPU 资源队列

存在资源有限的集群，尤其是考虑到已部署 GPU 的数量。

队列机制管理 GPU 使用请求，监控 GPU 状态，并在 GPU 可用时执行请求。 资源管理提高了跟踪和重新启动请求的效率。

要为 GPU 资源配置队列，请执行以下操作：

1. 转到 ArgoCD AICenter应用程序。
   
   

   

   
   
2. 单击“应用程序详细信息”按钮以查看应用程序详细信息。
   
   

   

   
   
3. 单击“参数” 选项卡以查看参数及其详细信息。
   
   

   

   
   

• global.waitQueue.gpuCount设置为可用于模型训练的 GPU 资源数量。
• global.waitQueue.queueLength设置为最大队列长度。 超出此限制后，新请求将不会排队。 建议的队列长度为 5*numGPUs。

启用功能

将global.waitQueue.enabled属性设置为 True。

配置

可选：更改global.waitQueue.gpuCount或global.waitQueue.queueLength 。

功能

该功能现已启用。 如果触发 2 个连续的 GPU 管道，则其中一个管道将等待另一个管道完成。

编辑计划的管道

您只能编辑尚未运行的管道。

1. 转到“管道详细信息”页面。
   • 在“管道”页面中，单击计划的管道旁边的 ⁝，然后选择“详细信息”。
   • 在特定包的“ML 包详细信息”中，选择“管道运行”选项卡，单击计划的管道旁边的 ⁝，然后选择“详细信息”。系统将显示“管道详细信息”页面。
2. 单击“编辑管道”。系统将显示“编辑管道运行”页面。
3. 您可以更改管道的名称、计划的管道的数据目录以及周期性计划。
4. 单击“提交”以保存您的更改。计划的管道将显示在“管道”页面中，并包含其更新信息。

删除管道

1. 删除管道。
   • 在“管道”页面中，单击管道旁边的 ⁝，然后选择“删除”。
   • 或者，在特定包的“ML 包详细信息”中，选择“管道运行”选项卡，单击管道旁边的“⁝”，然后选择“删除”。系统会显示确认对话框。
2. 单击“确定”以删除管道。
   备注：

   删除打包、等待资源或运行管道时，先将其停止，然后再将其删除。

   如果您只想停止“打包”、“等待资源”或“运行”管道，并查看其日志，请单击一旁的 ⁝，然后选择“详细信息”，以前往其对应的“管道详细信息”页面。您可以从此处停止管道。

查看管道详细信息

您可以查看有关特定管道的更多信息，或执行其他操作。

• 在“管道”页面中，单击计划的管道旁边的 ⁝，然后选择“详细信息”。

• 在特定包的“ML 包详细信息”中，选择“管道运行”选项卡，单击计划的管道旁边的 ⁝，然后选择“详细信息”。系统将显示“管道详细信息”页面。
• 或者，如果 ML 包由管道生成，则可以通过依次单击三点菜单 ⁝ 和“管道详细信息”，直接从“ML 包”窗口访问与管道相关的所有信息。这仅适用于新管道。

此处显示的信息以及您可以在此处执行的操作取决于管道状态。

计划的管道详细信息

计划的管道的“管道详细信息”页面显示“信息”选项卡。

您可以执行以下操作：

删除管道。

编辑管道。在显示的“编辑管道运行”页面中，可以更新任何字段。选择“立即运行”不会创建新的管道，而是会立即执行该管道，从而将其从计划的管道列表中删除。

状态为正在打包的管道详细信息

状态为“正在打包”的管道的“管道详细信息”页面显示“信息”选项卡。

您可以执行以下操作：

终止管道。这将停止执行管道，以使其既不运行，也不占用 AI Unit。其状态将更改为“已终止”。

状态为正在等待资源的管道详细信息

状态为“正在等待资源”的管道的“管道详细信息”页面显示“信息”选项卡。

您可以执行以下操作：

终止管道。这将从队列中删除管道，以使其既不执行，也不占用 AI Unit。其状态将更改为“已终止”。

状态为正在运行的管道详细信息

状态为“正在运行”的管道的“管道详细信息”页面显示“信息”选项卡和实时日志。

您可以执行以下操作：

终止管道。这将立即停止管道，并将其状态更改为“已终止”。日志显示执行终止操作时的快照。

状态为失败的管道详细信息

状态为“失败”的管道的“管道详细信息”页面显示“信息”选项卡和日志。根据该管道失败的阶段，系统将显示（部分）管道输出。

您可以执行以下操作：

重新启动管道。这会将一个新管道添加到队列中，并使用与创建时完全相同的参数。如果队列为空，则管道会立即开始执行。

状态为已终止的管道详细信息

状态为“已终止”的管道的“管道详细信息”页面显示“信息”选项卡。此外，根据该管道的终止时间，“管道详细信息”页面可能还包含日志。

您可以执行以下操作：

重新启动管道。

删除管道。

状态为成功的管道详细信息

状态为“成功”的管道的“管道详细信息”页面显示“信息”选项卡、日志和管道输出。

您可以执行以下操作：

删除管道。

删除管道。

重新启动管道。

日志

您可以从“日志”部分下载管道运行的报告。为此，请单击“下载管道报告”按钮。

我们建议在提交问题时附上此报告，以便更快地进行故障排除。

此报告收集调试问题所需的所有必要信息，包括帐户 ID、租户 ID、AI Unit 以及相应的包和管道信息。

查看下方的屏幕截图，了解管道运行报告示例。