了解提取和提取性能的验证

注意： “提取验证”页面为公开预览版。

“验证”页面显示提取性能的概述，并帮助您深入了解每次提取的单独性能。

您可以从“验证”中的“提取”选项卡访问“验证”页面，并且仅当您在数据集上定义了提取字段时，该页面才可用。

性能概述

“提取验证”页面的默认页面是“全部”概述页面，该页面提供有关数据集中提取的整体性能的以下摘要统计信息：

• 提取平均 F1 分数
• 提取平均精度
• 提取平均召回率

图 1.提取验证页面

注意：提取平均 F1 分数较低表示提取性能不佳。

单个提取

单击各个标签，以查看单个提取（即标签及其关联的提取字段）的性能。

对于每个提取，您可以看到以下值：

• F1 分数
• 精度
• 召回

对于标签的所有提取字段，您可以看到以下值：

• 平均 F1 分数
• 平均精度
• 平均召回率

对于各个提取字段，您可以看到以下值：

• F1 分数
• 精度
• 召回

图 2.单独的提取验证

置信度级别和 LLM

置信度级别的工作方式因您使用的基础 LLM 模型而异。

如果您使用预览版 LLM

预览版 LLM 的预测没有可信度。 预览 LLM 返回标签或字段是预测 (Yes = 1) 还是不是预测 (No = 0)。

因此，不存在不同置信度阈值的概念。

如果您使用 CommPath LLM

如果您使用 CommPath LLM，则模型将使用其验证功能来预测要应用于通信的标签。 模型为每个预测分配一个置信度分数 (%)。 这将向您显示模型应用标签的可信度。

使用生成式提取实现自动化

注意：如果您以前构建过带实体的自动化：如果您计划使用生成式提取构建自动化，则构建此自动化所需的 API 端点和活动与以前使用的不同。

本节介绍“获取流结果”活动的输出。 有关更多详细信息，请查看Communications Mining 调度程序框架页面。

要自动使用生成式提取，请务必了解提取输出的内容。​

出现次数置信度：是指模型对消息上可能出现请求的实例数量（即可能发生提取的次数）的置信度。 ​

例如：要在下游系统中处理对账单，您始终需要帐户 ID、采购订单号、付款金额和到期日期。

查看下方的出现置信度示例。 它说明了模型如何确信无疑地识别出存在 2 种可能发生的情况，您需要在这两种情况下推进此下游流程​。

提取可信度

提取可信度是指模型对其预测的可信度。 这包括它在预测标签实例及其相关字段时的准确度。 它还包括模型在缺少字段的情况下正确预测的置信度。

考虑与之前相同的示例。 要在下游系统中处理对账单，您始终需要帐户 ID、采购订单号、付款金额和到期日期。

但是，这一次，消息中不会显示 PO 编号，也不会显示到期日期（仅显示开始日期）。

此示例中的提取置信度是指模型关于识别与标签关联的每个字段的值是否存在的置信度。 它还包括模型在缺少字段的情况下正确预测的置信度。

在此示例中，您没有所需的所有字段，因此无法完全提取所有必填字段。

有效负载示例

请查看下面的示例输出，了解“获取流响应”活动返回的内容。

流是指您在 Communications Mining 中设置的阈值，以及消息是否符合此阈值。

此路由不会返回置信度符合阈值的预测，而不是根据阈值筛选出预测。

换句话说，如果满足阈值，则返回流。 如果不存在，则此值为空。

注意：这是一个用于说明不同组件的示例代码片段，并非生成提取响应的完整输出。 ​

此外，在存在多次提取的情况下，它以之前的提取为条件。

对于没有提取字段的标签，出现可信度等同于您在用户界面中看到的标签可信度。​

注意：如果由于字段过多而导致模型未能成功提取消息中的所有字段，则它将在流响应中返回一个出现置信度和提取置信度值为 0 的提取内容。