communications-mining
latest
false
重要 :
请注意,此内容已使用机器翻译进行了本地化。
新发布内容的本地化可能需要 1-2 周的时间才能完成。

Communications Mining 用户指南
上次更新日期 2025年2月10日
验证并标注生成的提取
注意:本页说明如何验证提取的字段预测。 您可以决定何时停止训练标签。 根据用例,您的提取有不同的性能要求。
提供足够的示例,以便模型为您提供验证统计信息。 验证统计信息可帮助您了解提取的执行情况。 此外,它还允许您微调提取。
重要提示:如果您使用Preview LLM ,我们建议在每个字段达到 25 个示例后停止添加更多示例。 这足以满足上下文学习和验证的需求,更多示例不会提高性能。
审核结果并:
- 如果提取内容全部正确,则接受这些提取。
- 如果有任何不正确的预测,请更正提取内容。
- 如果消息中没有提取内容,则将其标记为缺失。
- 配置启用端到端自动化所需的任何其他字段(如果缺少)。
为什么微调很重要?
通过微调,您可以使用收集的注释来提高提取模型的性能。
它使您可以采用开箱即用的模型并增强用例的性能。
什么时候可以停止?
在提供至少25 个标签提取示例以供模型在其验证流程中使用后停止。 检查验证,并查看性能是否足够,或者是否需要更多示例。
# | 说明 |
1 | 如果所有字段预测都正确,请选择“全部确认”以批量验证注释是否正确。 |
2 | 要添加新的提取字段,请选择通用字段旁边或任何提取字段旁边的加号按钮。 要编辑任何现有字段,请选择“通用字段”旁边或任何提取字段旁边的垂直省略号。 |
3 | 在侧面板中,如果您选中预测提取旁边的复选框,则表示您确认字段注释在提取级别正确。 |
4 | 在每个字段下,您可以找到模型预测的数据点。
如果预测不正确,请选择x按钮以使用正确的字段调整字段。 |
5 | 在原始消息中标记预测的数据点。
|
6 | 要添加或修改任何字段,请将鼠标悬停在相应的通用字段或提取字段部分上的+按钮旁边。 |
7 | 要展开通用字段或特定提取字段的显示字段,请选择下拉按钮。 |
要验证您的提取,请应用以下步骤:
- 选择数据集旁边的“探索”以访问该特定数据集。
- 在“探索”选项卡下,选择“注释字段” 。
- 在侧面板中,选择“预测提取”按钮。
- 在同一侧面板中,模型预测旁边会显示用红色或绿色圆圈标记的匹配指示器。
注意:匹配指示器显示模型预测是否与您为提取字段所做的注释匹配。 这些指标在用户界面中以红色或绿色圆圈标记在提取字段和提取级别中。 如果值不匹配,则说明值不匹配或缺失。 您可以重新运行最新的模型预测,以确认它们是否与提供的注释匹配。匹配指标可返回的状态包括:
- 绿色 - 预测与注释相符。 仅当所有提取字段的指示符均为绿色时,才在提取级别可见。
- 红色 - 预测与注释不匹配,或者预测缺少注释。 如果提取中的任何字段具有红色指示器,则在提取级别可见。
备注: “训练” 选项卡下的“提取” 处于公开预览阶段。
您可以在与“探索”选项卡类似的方式下验证“训练” 选项卡体验下的提取。
要验证您的提取,请应用以下步骤:
- 选择数据集旁边的“训练”以访问该特定数据集。
- 在“训练”选项卡下,选择“提取” 。
- 选择要验证的标签提取。
- 确认显示的消息是否是标签的适用示例。
- 应用所有适用标签后,选择“下一步:注释字段” 。
- 在接下来的页面上,模型预测旁边会显示标有红色或绿色圆圈的匹配指示器。
注意:匹配指示器显示模型预测是否与您为提取字段所做的注释匹配。 这些指标在用户界面中以红色或绿色圆圈标记在提取字段和提取级别中。 如果值不匹配,您会注意到值不匹配或丢失。 您可以重新运行最新的模型预测,以确认它们是否与提供的注释匹配。匹配指标可返回的状态包括:
- 绿色 - 预测与注释相符。 仅当所有提取字段的指示符均为绿色时,才在提取级别可见。
- 红色 - 预测与注释不匹配,或者预测缺少注释。 如果提取中的任何字段具有红色指示器,则在提取级别可见。
- 选择“全部确认”,然后选择“下一步”查看下一条要自动标注的消息。