了解提取和提取性能的验证

注意： “提取验证”页面为公开预览版。

“验证”页面显示提取性能的概述，并帮助您深入了解每次提取的单独性能。

您可以从“验证”中的“提取”选项卡访问“验证”页面，并且仅当您在数据集上定义了提取字段时，该页面才可用。

性能概述

“提取验证”页面的默认页面是“全部”概述页面，该页面提供有关数据集中提取的整体性能的以下摘要统计信息：

• 提取平均 F1 分数
• 提取平均精度
• 提取平均召回率

图 1.提取验证页面

注意：提取平均 F1 分数较低表示提取性能不佳。

单个提取

单击各个标签，以查看单个提取（即标签及其关联的提取字段）的性能。

对于每个提取，您可以看到以下值：

• F1 分数
• 精度
• 召回

对于标签的所有提取字段，您可以看到以下值：

• 平均 F1 分数
• 平均精度
• 平均召回率

对于各个提取字段，您可以看到以下值：

• F1 分数
• 精度
• 召回

图 2.单独的提取验证

置信度级别和 LLM

置信度级别的工作方式因您使用的基础 LLM 模型而异。

如果您使用 CommPath LLM

If you use the CommPath LLM, themodel assigns a set of confidence scores for each prediction (%).

CommPath calculates and returns the following:

• 出现次数置信度：检测到的出现次数与分配的标签相对应的可能性。

• 提取置信度：对所提取内容正确性的置信度。

These confidence values enable downstream automations to filter out extractions with confidence levels below a set label threshold. If you set an appropriate threshold, you can ensure that only predictions that meet a desired confidence level are used in workflows.

如果您使用预览版 LLM

用于生成式提取的Preview LLM为每次提取提供了一个标签出现置信度值，从而替换了出现置信度和提取置信度。 此方法与 CommPath 不同，后者为每次提取返回单独的置信度值。

备注：

Returning the label confidence helps filtering out extractions downstream if needed, allowing users to improve the precision of some results.

使用生成式提取实现自动化

注意：如果您以前构建过带实体的自动化：如果您计划使用生成式提取构建自动化，则构建此自动化所需的 API 端点和活动与以前使用的不同。

本节介绍“获取流结果”活动的输出。 有关更多详细信息，请查看Communications Mining 调度程序框架页面。

要自动使用生成式提取，请务必了解提取输出的内容。​

出现次数置信度：是指模型对消息上可能出现请求的实例数量（即可能发生提取的次数）的置信度。 ​

例如：要在下游系统中处理对账单，您始终需要帐户 ID、采购订单号、付款金额和到期日期。

查看下方的出现置信度示例。 它说明了模型如何确信无疑地识别出存在 2 种可能发生的情况，您需要在这两种情况下推进此下游流程​。

提取可信度

提取可信度是指模型对其预测的可信度。 这包括它在预测标签实例及其相关字段时的准确度。 它还包括模型在缺少字段的情况下正确预测的置信度。

考虑与之前相同的示例。 要在下游系统中处理对账单，您始终需要帐户 ID、采购订单号、付款金额和到期日期。

但是，这一次，消息中不会显示 PO 编号，也不会显示到期日期（仅显示开始日期）。

此示例中的提取置信度是指模型关于识别与标签关联的每个字段的值是否存在的置信度。 它还包括模型在缺少字段的情况下正确预测的置信度。

在此示例中，您没有所需的所有字段，因此无法完全提取所有必填字段。

有效负载示例

请查看下面的示例输出，了解“获取流响应”活动返回的内容。

流是指您在 Communications Mining 中设置的阈值，以及消息是否符合此阈值。

此路由不会返回置信度符合阈值的预测，而不是根据阈值筛选出预测。

换句话说，如果满足阈值，则返回流。 如果不存在，则此值为空。

注意：这是一个用于说明不同组件的示例代码片段，并非生成提取响应的完整输出。 ​

此外，在存在多次提取的情况下，它以之前的提取为条件。

对于没有提取字段的标签，出现可信度等同于您在用户界面中看到的标签可信度。​

注意：如果由于字段过多而导致模型未能成功提取消息中的所有字段，则它将在流响应中返回一个出现置信度和提取置信度值为 0 的提取内容。