评估管道

评估管道用于评估经过训练的机器学习模型。要使用此管道，包必须包含用于评估模型的代码（train.py 文件中的 evaluate() 函数）。此代码与数据集或数据集中的子文件夹一起生成分数（evaluate() 函数返回的内容）以及用户想要保留的任何其他输出。

创建评估管道

按此处所述新建评估管道。确保提供以下特定于评估管道的信息：

• 在“管道类型”字段中，选择“评估运行”。
• 在“选择评估数据集”字段中，选择要从中导入数据以进行评估的数据集或文件夹。在管道运行时，该数据集/文件夹中的所有文件应在传递到 evaluate() 函数的参数所表示的路径上本地可用。
• 在“输入参数”部分中，输入管道定义和使用的环境变量（如果有）。环境变量包括：
  • artifacts_directory，默认值为 artifacts：这定义目录的路径，该目录将保留为与此管道相关的辅助数据。大多数用户（如果不是所有用户）都不必通过用户界面覆盖此参数。管道执行期间可以保存任何内容，包括图像、pdf 和子文件夹。具体而言，代码在路径 os.environ['artifacts_directory'] 指定的目录中写入的所有数据都会在管道运行结束时上传，并且可以从“管道详细信息”页面中查看。
  • save_test_data，默认值为 false：如果设置为 true，则 data_directory 文件夹将在管道运行结束时作为管道的输出上传到目录 data_directory 下。
    注意：管道执行可能需要一些时间。稍后请返回以查看其状态。
    执行管道后，在“管道”页面中，管道的状态将更改为“成功”。“管道详细信息”页面会显示与管道运行相关的任意文件和文件夹。在我们的示例中，运行创建了一个名为 my-evaluate-artifact.txt 的文件。

用于构建自己的评估管道的概念类推

以下是某个包（例如版本 1.1）上的评估管道执行的概念类推，以及版本 1.0 上训练管道的输出。

注意：这是一个简化的示例。其目的是说明数据集和包在评估管道中的交互方式。这些步骤仅是概念性步骤，并不代表平台的工作方式。

1. 将包版本 1.1 复制到 ~/mlpackage。
2. 从用户界面将选择的评估数据集或数据集子文件夹复制到 ~/mlpackage/evaluation_data。
3. 执行以下 python 代码：

   from train import Main 
   m = Main() 
   score = m.evaluate('./evaluation_data')

   返回的分数出现在显示管道的网格和 results.json 文件中。
4. 如果写入，则保留工件。如果 save_test_data 设置为 true，则生成数据的快照。

管道输出

_results.json 文件包含管道运行执行的摘要，并显示评估管道的所有输入/输出和执行时间。

{
    "parameters": {
        "pipeline": "< Pipeline_name >",
        "inputs": {
            "package": "<Package_name>",
            "version": "<version_number>",
            "evaluation_data": "<storage_directory>",
            "gpu": "True/False"
        },
        "env": {
            "key": "value",
            ...
        }
    },
    "run_summary": {
     "execution_time": <time>, #in seconds 
     "start_at": <timestamp>, #in seconds 
     "end_at": <timestamp>, #in seconds 
     "outputs": {
        "score": <score>, #float
        "train_data": "<test_storage_directory>", 
        "evaluation_data": "<test_storage_directory>/None", 
        "artifacts_data": "<artifacts_storage_directory>",
         }
    }
}

artifacts 文件夹（仅在不为空时可见）用于对管道生成的所有工件进行重新分组，并且保存在 artifacts_directory 文件夹下。

dataset 文件夹（仅当 save_data 设置为默认值 true 时才存在）是评估数据集文件夹的副本。

模型监管

与在训练管道中一样，用户可以将参数 save_test_data 设置为 true，为传递用于进行评估的数据生成快照。