Melhorando o balanceamento e usando o Rebalanceamento

Observação: você deve ter atribuído as permissões Origem — Leitura e Conjunto de dados — Revisão como um usuário do Automation Cloud, ou as permissões Visualizar origens e Revisão e anotação como um usuário legado.

Balanceamento: Introdução e importância

A Classificação de saldo apresentada na Classificação do modelo na Validação reflete o quão equilibrados os dados revisados (ou seja, os dados de treinamento) em um conjunto de dados são, quando comparados ao conjunto de dados como um todo.

Ela leva em consideração vários fatores, incluindo:

• A similaridade dos dados revisados e não revisados, exibida como uma pontuação percentual.
• A proporção de dados revisados que foram revisados por meio de amostra aleatória, ou seja, modo aleatório .
• A proporção de dados que foi revisada usando Rebalancear.
• A proporção de dados que foram revisados durante o uso da Pesquisa de texto.

Um exemplo de componente "Saldo" da Classificação do modelo

É importante que a proporção de dados revisados por meio de amostra aleatória seja alta (idealmente mais de 20%) e a proporção de dados revisados anotados usando a pesquisa seja baixa.

A classificação de saldo é mais fortemente influenciada, no entanto, pela pontuação de similaridade, que mede a similaridade dos dados não revisados com os dados revisados.

Essa pontuação de similaridade é calculada por um modelo de viés de anotação proprietário que compara os dados revisados e não revisados para garantir que os dados anotados sejam representativos de todo o conjunto de dados. Se os dados não forem representativos e tiverem sido anotados de maneira tendenciosa, as medidas de desempenho do modelo podem ser enganosas e potencialmente não confiáveis.

O viés de anotação na plataforma é normalmente o resultado de um equilíbrio entre os modos de treinamento usados para atribuir rótulos, especialmente se for usada muita "pesquisa de texto" e pouco modo "Aleatório". No entanto, ele ainda pode ocorrer mesmo se uma alta proporção do modo "Aleatório" for usada. O treinamento de rótulos específicos em modos como "Ensinar rótulo" pode levar naturalmente a um pequeno equilíbrio nos dados revisados. A plataforma ajuda você a identificar quando isso acontece e a ajudar a resolvê-lo de maneira rápida e eficaz.

Rebalancear: Introdução e uso

Rebalancear é um modo de treinamento que ajuda a reduzir os possíveis desequilíbrios em como um modelo foi anotado, ou seja, anotação de viés, o que significa que os dados revisados não são tão representativos de todo o conjunto de dados quanto poderiam ser.

O modo de treinamento Rebalancear mostra mensagens que estão sub-representadas no conjunto revisado.

Anotar as mensagens (como você faria em qualquer outro modo de treinamento) apresentadas nesse modo ajudará a resolver equilíbrios nos dados de treinamento e melhorar a pontuação de equilíbrio do modelo.

Dica: o rebalancear normalmente é mais eficaz quando usado pouco e com frequência. Anotar um pequeno número de mensagens, entre 10 e 20, nesse modo e permitir que o modelo seja treinado novamente antes de atualizar e anotar mais exemplos é a melhor maneira de maximizar o impacto que isso terá na pontuação de saldo do modelo.

O modo de treinamento "Rebalancear" em um conjunto de dados de demonstração

Se você achar que tem uma pontuação de similaridade alta, mas a classificação de Balanceamento ainda é baixa, isso provavelmente ocorre porque você não anotou o suficiente dos dados de treinamento no modo Aleatório . Se for esse o caso, a plataforma sugerirá anotar uma seleção aleatória de mensagens como a ação recomendada de prioridade. O treinamento nesse modo dá à plataforma confiança adicional de que o conjunto de dados não foi anotado de maneira tendenciosa e que os dados de treinamento são uma amostra representativa.

Quanto Rebalancear usar

Você deve continuar a usar Rebalancear iterativamente para melhorar a pontuação de similaridade para seu modelo, o que, por sua vez, aumentará sua classificação de Balanceamento .

Após atingir uma classificação Boa em Validação, é sua decisão de quanto mais você gostaria de aumentar a pontuação de similaridade antes de interromper o treinamento em Rebalancear.

Você pode tentar otimizar essa classificação o máximo possível, mas o treinamento contínuo sempre terá retornos decrescentes. Uma classificação Boa normalmente deve ser considerada um nível aceitável de desempenho para um bom modelo.