Compreender e melhorar o desempenho do modelo

Entendendo o desempenho geral do modelo

O desempenho geral de um modelo de machine learning é determinado por vários fatores, que precisam ser considerados em combinação entre si. Não é suficiente apenas considerar se os rótulos de um modelo têm alta precisão média ou apenas analisar quanto de um conjunto de dados é coberto por previsões por conta própria.

Para ter certeza de que um modelo é uma representação verdadeira de um conjunto de dados, com previsões de rótulos precisas e confiáveis e alta cobertura, avaliamos os seguintes fatores principais. Para obter mais detalhes, consulte Como a validação funciona.

• Todos os rótulos - Avalia o desempenho médio de todos os rótulos na taxonomia
• Rótulos com baixo desempenho - avalia o desempenho de 10% dos rótulos que têm os problemas de desempenho mais significativos ou a menor integridade geral
• Cobertura - avalia a proporção de mensagens que se espera que tenham pelo menos um rótulo informativo
• Balanceamento - Avalia se os dados revisados são uma representação eficaz e equilibrada de todo o conjunto de dados

A plataforma combina sua avaliação desses 4 fatores em uma única Classificação de modelo proprietária e fácil de entender . Essa classificação é a melhor medida do desempenho do modelo, pois representa todos os fatores mais importantes pelos quais um modelo de rótulo deve ser avaliado, ponderados por sua importância relativa.

A Classificação do Modelo é uma pontuação de 0 a 100, que equivale a uma classificação de Fraco (0-49), Médio (50-69), Bom (70-89) ou Excelente (90-100).

A validação também fornece um detalhamento de cada um desses fatores - cada fator recebe sua própria classificação qualitativa, além de exibir as métricas que contribuem para essa classificação. Elas são discutidos em mais detalhes abaixo.

Cada fator pode ter uma contribuição positiva ou negativa para a Classificação do modelo, dependendo de seu desempenho. É muito possível que modelos com classificações Baixa em cada fator tenham uma classificação geral de zero, especialmente quando é muito inicial no processo de treinamento do modelo.

Observação: a classificação do modelo é específica para rótulos e não leva em consideração o desempenho dos campos gerais. No entanto, a validação também fornece métricas detalhadas sobre o desempenho de previsões de campos gerais. Para obter mais detalhes, consulte Uso de campos gerais.

O menu suspenso Versão do modelo permite que você visualize todas as pontuações de validação em versões anteriores do modelo em um determinado conjunto de dados. Você também pode priorizar ou marcar com estrela itens individuais para que apareçam no topo da lista no futuro. Essa ferramenta pode ser útil para rastrear e comparar o progresso à medida que você cria seu modelo.

O menu suspenso garante que você não precise fixar uma versão do modelo para ver as pontuações de validação para ela. Fixar uma versão do modelo só precisa ser usado para versões do modelo que você deseja poder chamar downstream por meio da API (por exemplo, para roteamento automatizado).

O menu suspenso da versão do modelo

Fatores

A aba Fatores em Validação, conforme mostrado anteriormente, fornece um detalhamento de cada um dos principais fatores que são considerados ao calcular a Classificação do modelo.

Cada cartão de fator mostra:

• A classificação do fator e uma descrição qualitativa dele
• Os colaboradores, que são os diferentes componentes que contribuem para a classificação de tal fator
• Ações recomendadas, listadas em ordem de prioridade, que podem ajudar a melhorar a classificação do fator

Todos os rótulos

• Esse fator avalia o desempenho médio de todos os rótulos na taxonomia,
• Ela depende principalmente da Precisão Média Média (MAP) em todos os rótulos, ponderada pela frequência com que são atribuídos
• Também leva em consideração quando há rótulos na taxonomia com alertas de desempenho na cor vermelha ou laranja
• As ações recomendadas para este fator normalmente são projetadas para aumentar a precisão média de rótulos específicos ou para remover seus avisos de desempenho

Rótulos com baixo desempenho

• Este fator avalia o desempenho dos 10% dos rótulos na taxonomia que têm os problemas de desempenho mais significativos ou o rótulo geral mais baixo “saúde” (se nenhum aviso for retornado)
• Se mesmo os 10% da parte inferior dos seus rótulos ainda tiverem um desempenho muito bom, isso é um ótimo sinal de que seu modelo está íntegro
• Isso depende do Mapa dos rótulos de menor desempenho, e também de saber se esses rótulos têm algum aviso significativo de desempenho (ou seja, avisos vermelho ou amarelo)
• As ações recomendadas para este fator normalmente são criadas para aumentar a precisão média de rótulos específicos com baixo desempenho e remover quaisquer outros alertas de desempenho individual

Cobertura

• Esse fator avalia a proporção de mensagens que se espera que tenham pelo menos um rótulo informativo. Para obter mais detalhes, consulte Como a validação funciona.
• É muito importante que um modelo de bom desempenho "cobre" o máximo possível do conjunto de dados com previsões de rótulos informativos
• As ações recomendadas para esse fator são projetadas para ajudar a aumentar a cobertura do conjunto de dados. Isso ocorrerá na maioria das vezes no modo de Baixa confiança .
• Para obter mais detalhes sobre cobertura, consulte Entendendo e aumentando a cobertura.

Balanceamento

• Esse fator avalia se os dados revisados são uma representação eficaz e equilibrada de todo o conjunto de dados e é projetado para detectar potencial viés de anotação. Para obter mais detalhes, consulte Como a validação funciona.
• Ele depende de uma pontuação de similaridade, que resulta da comparação dos dados revisados com os dados não revisados no conjunto de dados, bem como se o modo Aleatório foi suficiente ao anotar os dados.
• É importante que os dados revisados em um conjunto de dados sejam o mais semelhantes possível aos dados não revisados, para que a plataforma possa identificar com confiança o máximo possível deles.
• As ações recomendadas para esse fator são projetadas para reduzir qualquer potencial viés de anotação e aumentar a pontuação de similaridade dos dados revisados.
• Para obter mais detalhes sobre como entender e melhorar o saldo do conjunto de dados, consulte Melhoria do saldo e uso de Rebalancear.

Observação: a plataforma sempre tentará surgir as próximas melhores ações recomendadas que podem melhorar um fator, mesmo que o fator seja classificado como Bom ou Excelente. Isso ocorre caso você queira continuar a otimizar o desempenho daquele fator.

Métricas

A guia Métricas da página Validação mostra algumas estatísticas de desempenho médio do rótulo, bem como um gráfico que mostra a precisão média de cada rótulo em comparação com o tamanho do seu conjunto de treinamento. O gráfico também sinaliza rótulos que possuem avisos de desempenho na cor amarelo ou vermelho.

As estatísticas de desempenho do rótulo exibidas são:

• Precisão Média Média (MAP)
• Precisão Média no Recall

Essencialmente, quanto maior sua pontuação MAP , melhor o modelo terá um desempenho geral no que diz respeito à precisão de suas previsões, mas isso variará entre conjuntos de dados, dependendo do tipo de dados e dos objetivos em torno dos quais você centrou sua taxonomia.

Porém, o MAP não é uma boa medida de cobertura ou saldo, e não deve ser usado apenas para determinar se seu modelo é adequado à finalidade. Para obter mais detalhes, consulte Compreensão e aumento da cobertura e Compreensão e melhoria do desempenho do modelo.

Noções Básicas sobre o desempenho do rótulo

O gráfico de desempenho do rótulo exibido na guia Métricas da página Validação fornece uma indicação visual imediata de como cada rótulo individual está funcionando.

Para que um rótulo apareça neste gráfico, ele deve ter pelo menos 20 exemplos fixados presentes no conjunto de treinamento usado pela plataforma durante a validação. Para garantir que isso aconteça, os usuários devem certificar-se de fornecer no mínimo 25 (muitas vezes mais) exemplos fixados por rótulo.

Cada rótulo será plotado como uma das três cores, com base na compreensão do modelo de como o rótulo está funcionando. Abaixo, explicamos o que elas significam:

Indicadores de desempenho do rótulo

• Os rótulos marcados em azul no gráfico têm um nível de desempenho satisfatório. Isso se baseia em vários fatores, incluindo número e variedade de exemplos, anotando viés e precisão média para esse rótulo.
• Os rótulos plotados como amarelo têm um desempenho um pouco abaixo do satisfatório. Eles podem ter uma precisão média relativamente baixa, exemplos de treinamento insuficientes ou podem ter sido anotados de maneira tendenciosa. Esses rótulos exigem um pouco de treinamento/correção para melhorar seu desempenho ou reduzir o viés na maneira como foram treinados.
• Os rótulos plotados em vermelho são rótulos com baixo desempenho. Eles podem ter uma precisão média muito baixa, exemplos de treinamento insuficientes ou são altamente viesados na maneira como foram anotados. Esses rótulos podem exigir consideravelmente mais treinamento/correção para trazer seu desempenho a um nível satisfatório ou reduzir significativamente o viés na maneira como foram treinados.

Observação: você verá os indicadores de desempenho laranja e vermelho aparecerem nas barras de filtro do rótulo em Explorar, Relatórios e Validação. Isso ajuda a notificar rapidamente quais rótulos precisam de ajuda e também quais previsões dos rótulos não devem ser confiáveis (sem algum trabalho para melhorá-las) ao usar as funcionalidades de análise.

Desempenho de rótulos individuais

Os usuários podem selecionar rótulos individuais na barra de filtro de rótulos ou selecionando a plotagem do rótulo no gráfico Todos os rótulos para visualizar as estatísticas de desempenho do rótulo. A visualização de rótulo específico também mostrará quaisquer avisos de desempenho e sugestões de próximas melhores ações recomendadas para ajudar a melhorar seu desempenho.

A visualização do rótulo mostrará a precisão média para o rótulo, bem como sua precisão versus recall com base em um determinado limite de confiança que os usuários podem ajustar por conta própria para ver como ele muda. Para obter mais detalhes, confira Entendendo o controle deslizante de limite de rótulo.

Melhoria do modelo geral e do desempenho de rótulos individuais

Se seu modelo ou um rótulo específico tiver um aviso de desempenho, a plataforma recomendará a próxima melhor ação que ela acha que ajudará a resolver esse aviso. Isso será por meio de um dos cartões de fator (conforme mostrado abaixo) ou quando você selecionar um rótulo específico da taxonomia ou do gráfico Todos os rótulos , conforme mostrado anteriormente.

Para alguns rótulos que têm precisão média muito baixa, pode não ficar claro por que eles estão apresentando um desempenho ruim. Os possíveis motivos pelos quais um rótulo pode ter uma precisão média baixa e como melhorar isso são discutidos no artigo a seguir Motivos para a baixa precisão média do rótulo. A plataforma sempre fornecerá o que ela achar que são as melhores ações corretivas para melhorar o rótulo, listadas em ordem de prioridade.

Quando você não está na página Validação , os avisos de desempenho vermelho e laranja ainda aparecem no filtro de taxonomia em Explorar e Relatórios, portanto, eles podem ser um indicador útil para verificar a Validação para ver as ações corretivas recomendadas.

As próximas melhores sugestões de ações atuam como links que você pode selecionar para levar você diretamente à exibição de treinamento que a plataforma sugere, a fim de melhorar o desempenho do rótulo ou reduzir seu viés. As sugestões são ordenadas de forma inteligente com a ação de prioridade mais alta para melhorar o rótulo listado primeiro.

Essas são a ferramenta mais importante para ajudar você a entender o desempenho do seu modelo e devem ser usadas regularmente como guias ao tentar melhorar o desempenho de um rótulo.

O próximo artigo aborda em detalhes os motivos pelos quais um rótulo pode ter uma precisão média baixa . Os artigos posteriores nesta seção da Base de Conhecimento também abordam os outros modos de treinamento que a plataforma pode sugerir o uso para melhorar o desempenho do seu modelo, que são Verificar rótulo, Rótulo perdido e Rebalancear.

Observação: se você tiver uma versão de modelo mais antiga selecionada, ainda verá os avisos e as ações sugeridas, mas se passar o mouse sobre o ícone de informações, um pop-up avisa que essas estatísticas específicas não podem ser alteradas, pois há uma versão de modelo mais recente, na qual você pode trabalhar.

Introdução ao controle deslizante limite de rótulos

Observação: ajustar o controle deslizante limite de confiança não afeta o modelo, apenas fornece uma representação visual de como as previsões seriam afetadas para esse rótulo se um determinado limite de confiança fosse selecionado. Isso pode ajudar você a selecionar um limite adequado para transmissões ou usar previsões para automação downstream.

Para ajustar o limite de confiança de um rótulo, digite um sinal de porcentagem % na caixa ou apenas arraste o controle deslizante ao longo da escala.

Anote estatísticas de validação específicas

Observe como na imagem anterior, o limite de confiança para o rótulo Cotação > Automação é definido em 68,7%, proporcionando uma precisão de 100% e recall de 85%.

Em seguida, na imagem a seguir, o limite de confiança foi ajustado usando o controle deslizante para 17%, o que traz a precisão para 84%, mas aumenta o recall para 100%.

Gráficos de validação específicos do rótulo

Para obter mais detalhes sobre a relação entre precisão e recall, consulte Precisão e recall.

Para obter mais detalhes sobre como selecionar limites para usar em automações, consulte Seleção de limites de confiança de rótulo.