验证生成的提取并为其添加注释

本节说明如何验证提取的字段预测。

提取可以是以下类型：

• 生成的提取内容- 当您选择“预测提取内容”时，模型会根据您提供的输入（即标签和批注）预测提取内容。
• 手动创建的提取- 如果模型尚未预测特定标签，您可以为特定标签创建提取字段。

请确保您提供了足够的示例，以便模型可以返回验证统计信息。验证统计信息可帮助您了解提取的性能。此外，它还允许您微调提取。

通过微调，您可以使用收集的注释来提高提取模型的性能。​它还允许您使用开箱即用的模型，并增强用例的性能。

备注：

• 您可以决定何时停止训练标签
• 不同的用例对于提取有不同的性能要求。​

重要提示：

如果您使用生成式提取 LLM，则作为最佳实践，请在每个字段达到 25 个示例后停止标注更多示例。这足以进行上下文关联的学习和验证，更多示例不会提高性能。

查看提取结果，并且根据具体情况，您可以从以下操作中进行选择：

• 如果提取内容全部正确，则接受​。
• 如果有任何不正确的预测，请更正提取。
• 如果消息中不存在提取内容，则将其标记为缺失。
• 如果缺少任何其他字段，请配置启用端到端自动化所需的字段。

何时停止批注

在提供至少 25 个标签提取示例以供模型在其验证流程中使用后停止。检查验证，并注意性能是否足够，或者是否需要更多示例。

验证“探索”中的提取

概述

#	说明＃
1＃	如果所有字段预测都正确，请选择“全部确认”以批量验证注释是否正确。
2	要添加新的提取字段，请选择通用字段旁边或任何提取字段旁边的加号按钮。要编辑任何现有字段，请选择“通用字段”旁边或任何提取字段旁边的垂直省略号。
3＃	在侧面板中，如果您选中预测提取旁边的复选框，则表示您确认字段注释在提取级别正确。
4：	在每个字段下，您可以找到模型预测的数据点。 如果预测不正确，请选择x按钮以调整正确的字段。
5 个	在原始消息中标记预测的数据点。 A图标表示消息中存在通用字段。 的图标表示消息中存在提取字段。
6	要添加或修改任何字段，请将鼠标悬停在相应的通用字段或提取字段部分上的+按钮旁边。
7	要展开通用字段或特定提取字段的显示字段，请选择下拉按钮。

验证提取

要验证您的提取，请应用以下步骤：

1. 选择数据集旁边的“探索” ，以访问该特定数据集。

2. 在探索选项卡下，选择注释字段。

3. 在侧面板中，选择“预测提取”按钮。

4. 在同一侧面板中，模型预测旁边会显示用红色或绿色圆圈标记的匹配指示器。

   

   备注：

   匹配指示器显示模型预测是否与您为提取字段所做的注释匹配。这些指标在用户界面中以提取字段和提取级别处的红色或绿色圆圈标记。如果值不匹配，则值可能不匹配或缺失。您可以重新运行最新的模型预测，以确认它们是否与提供的注释匹配。匹配指示器可返回的状态包括：

   • 绿色 - 预测与注释相符。 仅当所有提取字段的指示符均为绿色时，才在提取级别可见。
   • 红色 - 预测与注释不匹配，或者预测缺少注释。 如果提取中的任何字段具有红色指示器，则在提取级别可见。

未确认的状态提取

下图显示了未确认状态下的提取内容。在右侧窗格中，提取内容被标记为“未确认”，并且文本本身的高亮显示颜色较浅。

备注：

相同的概念也适用于通用字段。

已确认的状态提取

下图显示了已确认状态的字段。在右侧窗格中，提取标记为“已确认” ，并且文本本身的高亮显示具有较深的颜色。

备注：

相同的概念也适用于通用字段。

验证训练中的提取内容

备注：

“训练”选项卡下的“提取”为公开预览版。

您可以在“训练”选项卡体验下验证提取，方法与“探索”选项卡类似。

要验证您的提取，请应用以下步骤：

1. 选择数据集旁边的“训练” ，以访问该特定的数据集。

2. 在“训练”选项卡下，选择“提取” 。

3. 选择要验证的标签提取。

   

4. 确认显示的消息是否是标签的适用示例。

5. 应用所有适用标签后，选择“下一步：标注字段” 。

   

6. 在接下来的页面上，模型预测旁边会显示标有红色或绿色圆圈的匹配指示器。

   备注：

   匹配指示器显示模型预测是否与您为提取字段所做的注释匹配。这些指标在用户界面中以提取字段和提取级别处的红色或绿色圆圈标记。如果值不匹配，您会注意到值不匹配或丢失。您可以重新运行最新的模型预测，以确认它们是否与提供的注释匹配。匹配指示器可返回的状态包括：

   • 绿色 - 预测与注释相符。 仅当所有提取字段的指示符均为绿色时，才在提取级别可见。
   • 红色 - 预测与注释不匹配，或者预测缺少注释。 如果提取中的任何字段具有红色指示器，则在提取级别可见。

7. 选择“全部确认”，然后选择“下一步” ，查看下一条要自动标注的消息。