Compreender e melhorar o desempenho do modelo

Fatores que determinam o desempenho do modelo do Communications Mining, incluindo como a confiança média do rótulo interage com outras métricas e como agir sobre elas em conjunto.

Entendendo o desempenho geral do modelo

O desempenho geral de um modelo de machine learning é determinado por vários fatores, que precisam ser considerados em combinação entre si. Não é suficiente apenas considerar se os rótulos de um modelo têm alta precisão média ou apenas analisar quanto de um conjunto de dados é coberto por previsões por conta própria.

To be confident that a model is a true representation of a dataset, with accurate, reliable label predictions and high coverage, we assess the following main factors. For more details, check How validation works.

• Todos os rótulos - Avalia o desempenho médio de todos os rótulos na taxonomia
• Rótulos com baixo desempenho - avalia o desempenho de 10% dos rótulos que têm os problemas de desempenho mais significativos ou a menor integridade geral
• Cobertura - avalia a proporção de mensagens que se espera que tenham pelo menos um rótulo informativo
• Balance - Assesses whether the reviewed data is an effective, balanced representation of the whole dataset

The platform combines its assessment of these 4 factors into a single, easy to understand proprietary Model Rating. This rating is the best measure of the performance of the model, as it accounts for all of the most important factors that a label model should be assessed on, weighted by their relative importance.

A Classificação do Modelo é uma pontuação de 0 a 100, que equivale a uma classificação de Fraco (0-49), Médio (50-69), Bom (70-89) ou Excelente (90-100).

A validação também fornece um detalhamento de cada um desses fatores - cada fator recebe sua própria classificação qualitativa, além de exibir as métricas que contribuem para essa classificação. Elas são discutidos em mais detalhes abaixo.

Cada fator pode ter uma contribuição positiva ou negativa para a Classificação do modelo, dependendo de seu desempenho. É muito possível que modelos com classificações Baixa em cada fator tenham uma classificação geral de zero, especialmente quando é muito inicial no processo de treinamento do modelo.

Observação:

A classificação do modelo é específica para rótulos e não leva em consideração o desempenho dos campos gerais. No entanto, a validação também fornece métricas detalhadas sobre o desempenho de previsões de campos gerais. Para obter mais detalhes, consulte Uso de campos gerais.

O menu suspenso Versão do modelo permite que você visualize todas as pontuações de validação em versões anteriores do modelo em um determinado conjunto de dados. Você também pode priorizar ou marcar com estrela itens individuais para que apareçam no topo da lista no futuro. Essa ferramenta pode ser útil para rastrear e comparar o progresso à medida que você cria seu modelo.

O menu suspenso garante que você não precise publicar uma versão do modelo para ver as pontuações de validação para ele. A publicação de uma versão do modelo só precisa ser usada para versões do modelo que você deseja chamar posteriormente por meio da API (por exemplo, para roteamento automatizado).

O menu suspenso da versão do modelo

Fatores

A aba Fatores em Validação, conforme mostrado anteriormente, fornece um detalhamento de cada um dos principais fatores que são considerados ao calcular a Classificação do modelo.

Cada cartão de fator mostra:

• A classificação do fator e uma descrição qualitativa dele
• Os colaboradores, que são os diferentes componentes que contribuem para a classificação de tal fator
• Ações recomendadas, listadas em ordem de prioridade, que podem ajudar a melhorar a classificação do fator

Todos os rótulos

• Esse fator avalia o desempenho médio de todos os rótulos na taxonomia,
• Depende principalmente da Precisão Média Média (MAP) de todos os rótulos, ponderada pela frequência com que são atribuídos
• Também leva em consideração quando há rótulos na taxonomia com alertas de desempenho na cor vermelha ou laranja
• As ações recomendadas para este fator normalmente são projetadas para aumentar a precisão média de rótulos específicos ou para remover seus avisos de desempenho

Rótulos com baixo desempenho

• Este fator avalia o desempenho dos 10% dos rótulos na taxonomia que têm os problemas de desempenho mais significativos ou o rótulo geral mais baixo “saúde” (se nenhum aviso for retornado)
• Se mesmo os 10% da parte inferior dos seus rótulos ainda tiverem um desempenho muito bom, isso é um ótimo sinal de que seu modelo está íntegro
• Isso depende do Mapa dos rótulos de menor desempenho, e também de saber se esses rótulos têm algum aviso significativo de desempenho (ou seja, avisos vermelho ou amarelo)
• As ações recomendadas para este fator normalmente são criadas para aumentar a precisão média de rótulos específicos com baixo desempenho e remover quaisquer outros alertas de desempenho individual

Cobertura

• Esse fator avalia a proporção de mensagens que se espera que tenham pelo menos um rótulo informativo. Para obter mais detalhes, consulte Como a validação funciona.
• É muito importante que um modelo de bom desempenho "cobre" o máximo possível do conjunto de dados com previsões de rótulos informativos
• As ações recomendadas para esse fator são projetadas para ajudar a aumentar a cobertura do conjunto de dados. Isso ocorrerá na maioria das vezes no modo de Baixa confiança .
• Para obter mais detalhes sobre cobertura, consulte Entendendo e aumentando a cobertura.

Balanceamento

• Esse fator avalia se os dados revisados são uma representação eficaz e equilibrada de todo o conjunto de dados e é projetado para detectar potencial viés de anotação. Para obter mais detalhes, consulte Como a validação funciona.
• Ele depende de uma pontuação de similaridade, que resulta da comparação dos dados revisados com os dados não revisados no conjunto de dados, bem como se o modo Aleatório foi suficiente ao anotar os dados.
• É importante que os dados revisados em um conjunto de dados sejam o mais semelhantes possível aos dados não revisados, para que a plataforma possa identificar com confiança o máximo possível deles.
• As ações recomendadas para esse fator são projetadas para reduzir qualquer potencial viés de anotação e aumentar a pontuação de similaridade dos dados revisados.
• Para obter mais detalhes sobre como entender e melhorar o saldo do conjunto de dados, consulte Melhoria do saldo e uso de Rebalancear.
  Observação:

  A plataforma sempre tentará revelar as próximas melhores ações recomendadas que podem melhorar um fator, mesmo que o fator seja classificado como Bom ou Excelente. Isso ocorre caso você queira continuar a otimizar o desempenho daquele fator.

Métricas

A guia Métricas da página Validação mostra algumas estatísticas de desempenho médio do rótulo, bem como um gráfico que mostra a precisão média de cada rótulo em comparação com o tamanho do seu conjunto de treinamento. O gráfico também sinaliza rótulos que possuem avisos de desempenho na cor amarelo ou vermelho.

As estatísticas de desempenho do rótulo exibidas são:

• Precisão Média Média (MAP)
• Precisão Média no Recall

Essentially, the higher your MAP score, the better the model is performing overall when it comes to the accuracy of its predictions, but this will vary between datasets depending on the type of data, and the objectives you have centred your taxonomy around.

Porém, o MAP não é uma boa medida de cobertura ou saldo, e não deve ser usado apenas para determinar se seu modelo é adequado à finalidade. Para obter mais detalhes, consulte Compreensão e aumento da cobertura e Compreensão e melhoria do desempenho do modelo.

Noções Básicas sobre o desempenho do rótulo

O gráfico de desempenho do rótulo exibido na guia Métricas da página Validação fornece uma indicação visual imediata de como cada rótulo individual está funcionando.

Para que um rótulo apareça neste gráfico, ele deve ter pelo menos 20 exemplos fixados presentes no conjunto de treinamento usado pela plataforma durante a validação. Para garantir que isso aconteça, os usuários devem certificar-se de fornecer no mínimo 25 (muitas vezes mais) exemplos fixados por rótulo.

Cada rótulo será plotado como uma das três cores, com base na compreensão do modelo de como o rótulo está funcionando. Abaixo, explicamos o que elas significam:

Indicadores de desempenho do rótulo

• Os rótulos marcados em azul no gráfico têm um nível de desempenho satisfatório. Isso se baseia em vários fatores, incluindo número e variedade de exemplos, anotando viés e precisão média para esse rótulo.
• Os rótulos plotados como amarelo têm um desempenho um pouco abaixo do satisfatório. Eles podem ter uma precisão média relativamente baixa, exemplos de treinamento insuficientes ou podem ter sido anotados de maneira tendenciosa. Esses rótulos exigem um pouco de treinamento/correção para melhorar seu desempenho ou reduzir o viés na maneira como foram treinados.
• Os rótulos plotados em vermelho são rótulos com baixo desempenho. Eles podem ter uma precisão média muito baixa, exemplos de treinamento insuficientes ou são altamente viesados na maneira como foram anotados. Esses rótulos podem exigir consideravelmente mais treinamento/correção para trazer seu desempenho a um nível satisfatório ou reduzir significativamente o viés na maneira como foram treinados.
  Observação:

  Você verá os indicadores de desempenho amarelo e vermelho aparecerem nas barras de filtro do rótulo em Explorar, Relatórios e Validação. Isso ajuda a notificar rapidamente quais rótulos precisam de ajuda e também quais previsões dos rótulos não devem ser confiáveis (sem algum trabalho para melhorá-las) ao usar as funcionalidades de análise.

Desempenho de rótulos individuais

Os usuários podem selecionar rótulos individuais na barra de filtro de rótulos ou selecionando a plotagem do rótulo no gráfico Todos os rótulos para visualizar as estatísticas de desempenho do rótulo. A visualização de rótulo específico também mostrará quaisquer avisos de desempenho e sugestões de próximas melhores ações recomendadas para ajudar a melhorar seu desempenho.

A visualização do rótulo mostrará a precisão média para o rótulo, bem como sua precisão versus recall com base em um determinado limite de confiança que os usuários podem ajustar por conta própria para ver como ele muda. Para obter mais detalhes, confira Entendendo o controle deslizante de limite de rótulo.

Melhoria do modelo geral e do desempenho de rótulos individuais

Se seu modelo ou um rótulo específico tiver um aviso de desempenho, a plataforma recomendará a próxima melhor ação que ela acha que ajudará a resolver esse aviso. Isso será por meio de um dos cartões de fator (conforme mostrado abaixo) ou quando você selecionar um rótulo específico da taxonomia ou do gráfico Todos os rótulos , conforme mostrado anteriormente.

Para alguns rótulos que têm precisão média muito baixa, pode não ficar claro por que eles estão apresentando um desempenho ruim. Os possíveis motivos pelos quais um rótulo pode ter uma precisão média baixa e como melhorar isso são discutidos no artigo a seguir Motivos para a baixa precisão média do rótulo. A plataforma sempre fornecerá o que ela achar que são as melhores ações corretivas para melhorar o rótulo, listadas em ordem de prioridade.

Quando você não está na página Validação , os avisos de desempenho vermelho e laranja ainda aparecem no filtro de taxonomia em Explorar e Relatórios, portanto, eles podem ser um indicador útil para verificar a Validação para ver as ações corretivas recomendadas.

Próximas melhores sugestões de ação

The next best action suggestions act as links that you can select to take you direct to the training view that the platform suggests in order to improve the label's performance or reduce its bias. The suggestions are intelligently ordered with the highest priority action to improve the label listed first.

Essas são a ferramenta mais importante para ajudar você a entender o desempenho do seu modelo e devem ser usadas regularmente como guias ao tentar melhorar o desempenho de um rótulo.

O próximo artigo aborda em detalhes os motivos pelos quais um rótulo pode ter uma precisão média baixa. Os artigos posteriores nesta seção da Base de Conhecimento também abordam os outros modos de treinamento que a plataforma pode sugerir o uso para melhorar o desempenho do seu modelo, que são Verificar rótulo, Rótulo perdido e Rebalancear.

Observação:

Se você tiver uma versão de modelo mais antiga selecionada, ainda verá os avisos e as ações sugeridas, mas se passar o mouse sobre o ícone de informações, um pop-up avisa que essas estatísticas específicas não podem ser alteradas, pois há uma versão mais recente versão do modelo na qual você pode trabalhar.

Introdução ao controle deslizante limite de rótulos

Observação:

Ajustar o controle deslizante limite de confiança não afeta o modelo, mas apenas fornece uma representação visual de como as previsões seriam afetadas para esse rótulo se um determinado limite de confiança fosse selecionado. Isso pode ajudar você a selecionar um limite adequado para transmissões ou usar previsões para automação downstream.

To adjust the confidence threshold for a label, you can type a percentage figure into the box, or just drag the slider along the scale.

Anote estatísticas de validação específicas

Observe como na imagem anterior, o limite de confiança para o rótulo Cotação > Automação é definido em 68,7%, proporcionando uma precisão de 100% e recall de 85%.

Em seguida, na imagem a seguir, o limite de confiança foi ajustado usando o controle deslizante para 17%, o que traz a precisão para 84%, mas aumenta o recall para 100%.

Gráficos de validação específicos do rótulo

Para obter mais detalhes sobre a relação entre precisão e recall, consulte Precisão e recall.

Para obter mais detalhes sobre como selecionar limites para usar em automações, consulte Seleção de limites de confiança de rótulo.