Validação para entidades

Introdução

A plataforma exibe estatísticas de validação, avisos e ações recomendadas para entidades habilitadas na página Validação, assim como faz para todos os rótulos em sua taxonomia.

Para vê-los, navegue até a página Validação e selecione a guia 'Entidades ' na parte superior, conforme mostrado na imagem abaixo.

Como acessar a página Validação da entidade

Como funciona a validação de entidades?

O processo no qual a plataforma valida sua capacidade de prever corretamente as entidades é muito semelhante ao modo como o é para os rótulos.

as mensagens são divididas (80:20) em um conjunto de treinamento e um conjunto de teste (determinado aleatoriamente pelo ID da mensagem de cada mensagem) quando são adicionados pela primeira vez ao conjunto de dados. Quaisquer entidades que tenham sido atribuídas (previsões que foram aceitas ou corrigidas) entrarão no conjunto de treinamento ou no conjunto de teste, com base em qualquer conjunto à qual a mensagem em que eles estão foi atribuída originalmente.

Como às vezes pode haver um número muito grande de entidades em uma mensagem e não há garantia de que uma mensagem esteja no conjunto de treinamento ou no conjunto de teste, você pode ver uma grande disparidade entre o número de entidades em cada conjunto.

Também pode haver instâncias em que todas as entidades atribuídas se enquadram no conjunto de treinamento. Como pelo menos um exemplo é necessário no conjunto de testes para calcular as pontuações de validação, essa entidade exigiria mais exemplos atribuídos até que alguns estivessem presentes no conjunto de testes.

Como as pontuações são calculadas?

As estatísticas individuais de precisão e recall para cada entidade com dados de treinamento suficientes são calculadas de uma maneira muito semelhante à dos rótulos:

Precisão = N.º de entidades correspondentes/N.º de entidades prevista

Recall = Nº de entidades correspondentes / Nº de entidades reais

Uma "entidade correspondente" é quando a plataforma prevê a entidade com precisão (ou seja, sem correspondências parciais)

A pontuação F1 é simplesmente a média hermética tanto da precisão quanto do recall.

Entidades treináveis

Vale a pena notar que as estatísticas de precisão e recall mostradas nesta página são mais úteis para as entidades que são treináveis ao vivo na plataforma (mostradas na segunda coluna acima), pois todas as entidades revisadas para esses tipos de entidade afetarão diretamente a plataforma capacidade de prever essas entidades.

Portanto, a aceitação de entidades corretas e a correção ou rejeição de entidades erradas devem ser feitas sempre que possível.

Entidades pré-treinadas

Para entidades que são pré-treinadas, para que as estatísticas de validação forneçam um refletir preciso do desempenho, os usuários precisarão garantir que aceitam uma quantidade considerável de previsões corretas, além de corrigir as erradas.

Se eles tivessem que corrigir apenas previsões erradas, os conjuntos de treinamento e teste seriam artificialmente preenchidos apenas com as instâncias em que a plataforma tem dificuldade em prever uma entidade, e não aquelas em que é mais capaz de prevê-las. Como corrigir previsões erradas para essas entidades não leva a uma atualização em tempo real dessas entidades (elas são atualizadas periodicamente offline), as estatísticas de validação podem não mudar por algum tempo e podem ficar artificialmente baixa.

Aceitar muitas previsões corretas pode não ser conveniente, pois essas entidades são prevista corretamente com muito mais frequência do que não. Mas se a maioria das previsões estiver correta para essas entidades, é provável que você não precise se preocupar com suas estatísticas de precisão e recall na página Validação.

O que significa o resumo das estatísticas?

As estatísticas de resumo (precisão média, recall médio e pontuação média de F1) são simplesmente médias de cada uma das pontuações de entidade individual.

Como com rótulos, apenas entidades que têm dados de treinamento suficientes são incluídas nas pontuações médias. Aqueles que não têm dados de treinamento suficientes para serem incluídos têm um ícone de aviso ao lado de seu nome.

Observação: as estatísticas resumidas incorporam todas as entidades com dados de treinamento suficientes, tanto as que são treináveis ao vivo quanto as que são pré-treinadas. As previsões para entidades que são pré-treinadas geralmente são corrigidas apenas quando estão erradas e nem sempre são aceitas quando estão certas. Isso significa que suas estatísticas de precisão e recall podem frequentemente ser artificialmente baixa, o que reduziria as pontuações médias.

Métricas

A página Validação de entidades mostra as estatísticas de desempenho médias das entidades, bem como um gráfico que mostra a pontuação F1 média de cada entidade versus o tamanho do conjunto de treinamento. O gráfico também sinaliza entidades que têm avisos de desempenho laranja ou vermelho.

Página Validação de entidades

As estatísticas de desempenho da entidade exibidas são:

• Pontuação média de F1: média das pontuações de F1 em todas as entidades com dados suficientes para estimar com precisão o desempenho. Essa pontuação considera o recall e a precisão da mesma forma. Um modelo com uma pontuação F1 alta produz menos falsos positivos e negativos.
• Precisão média: média das pontuações de precisão em todas as entidades com dados suficientes para estimar com precisão o desempenho. Um modelo com alta precisão produz menos falsos positivos.
• Recall médio: média das pontuações de recall em todas as entidades com dados suficientes para estimar com precisão o desempenho. Um modelo com alta recall produz menos falsos negativos.

Compreensão do desempenho da entidade

O gráfico do desempenho da entidade exibido na guia Métricas da página Validação (veja acima) fornece uma indicação visual imediata de como cada entidade individual está funcionando.

Para que uma entidade apareça neste gráfico, ela deve ter pelo menos 20 exemplos fixados presentes no conjunto de treinamento usado pela plataforma durante a validação. Para garantir que isso aconteça, os usuários devem fornecer no mínimo 25 (muitas vezes mais) exemplos fixados por entidade de 25 mensagens diferentes.

Cada entidade será plotada como uma de três cores, com base na compreensão do modelo de como a entidade está funcionando. Abaixo, explicamos o que elas significam:

Indicadores de desempenho da entidade

Indicadores de desempenho da entidade:

• As entidades marcadas em azul no gráfico têm um nível de desempenho satisfatório . Isso se deve a vários fatores que contribuem, incluindo o número e variedade de exemplos e a precisão média para essa entidade

• Entidades marcadas na cor laranja têm desempenho um pouco abaixo do satisfatório. Eles podem ter precisão médiarelativamente baixa ou não ter exemplos de treinamento suficientes. Estas entidades exigem um pouco de treinamento/correção para melhorar o desempenho

• As entidades plotadas em vermelho são entidades de baixo desempenho. Eles podem ter uma precisão média muito baixa ou não ter exemplos de treinamento suficientes. Essas entidades podem exigir consideravelmente mais treinamento/correção para trazer seu desempenho para um nível satisfatório

Observação: você verá os indicadores de desempenho laranja e vermelho aparecerem nas barras de filtro de entidade em Explorar, Relatórios e Validação. Isso ajuda a notificar rapidamente quais entidades precisam de ajuda e também quais as previsões de entidades não devem ser baseadas (sem algum trabalho para melhorá-las) ao usar os recursos de análise.

Desempenho de entidades individuais

Os usuários podem selecionar entidades individuais na barra do filtro de entidades (ou clicando no gráfico da entidade no gráfico "Todas as entidades") para ver as estatísticas de desempenho da entidade.

A exibição da entidade específica também mostrará avisos de desempenho e sugestões de próxima ação recomendada para ajudar a melhorar o desempenho.

A exibição da entidade mostrará a pontuação F1 média para a entidade, além de sua precisão e recall.

Exemplo de cartão de entidade com ações recomendadas