- Introdução
- Configurando sua conta
- Balanceamento
- Clusters
- Desvio de conceito
- Cobertura
- Conjuntos de dados
- Campos gerais
- Rótulos (previsões, níveis de confiança, hierarquia do rótulo e sentimento do rótulo)
- Modelos
- Transmissões
- Classificação do Modelo
- Projetos
- Precisão
- Lembrar
- Mensagens anotadas e não anotadas
- Campos de extração
- Fontes
- Taxonomias
- Treinamento
- Previsões positivos e negativos verdadeiros e falsos
- Validação
- Mensagens
- Controle de acesso e administração
- Gerencie origens e conjuntos de dados
- Entender a estrutura de dados e permissões
- Criando ou excluindo uma origem de dados na GUI
- Carregar um arquivo CSV para uma origem
- Preparando dados para carregamento de .CSV
- Criação de um conjunto de dados
- Origens e conjuntos de dados multilíngues
- Habilitando o sentimento em um conjunto de dados
- Como corrigir as configurações do conjunto de dados
- Excluindo uma mensagem
- Exclusão de um conjunto de dados
- Exportação de um conjunto de dados
- Usando integrações do Exchange
- Treinamento e manutenção do modelo
- Noções Básicas sobre rótulos, campos gerais e metadados
- Hierarquia de rótulos e práticas recomendadas
- Comparação de casos de uso de análise e automação
- Transformando seus objetivos em rótulos
- Visão geral do processo de treinamento do modelo
- Anotação generativa
- Status do conjunto de dados
- Treinamento de modelos e práticas recomendadas de anotação
- Treinamento com análise de sentimento de rótulo habilitada
- Dados de chamadas e chat de treinamento
- Compreensão dos requisitos de dados
- Treinamento
- Introdução ao Refine
- Precisão e recall explicados
- Precisão e recall
- Como a validação funciona
- Compreender e melhorar o desempenho do modelo
- Motivos para baixa precisão média do rótulo
- Treinamento usando Check label e Perda de rótulo
- Treinamento usando Ensinar rótulo (Refinar)
- Treinamento usando a Pesquisa (Refinamento)
- Noções Básicas e Aumentando a Cobertura
- Melhorando o balanceamento e usando o Rebalanceamento
- Quando parar de treinar seu modelo
- Uso dos campos gerais
- Extração generativa
- Uso de análise e monitoramento
- Automations e Communications Mining™
- Desenvolvedor
- Integração do Exchange com usuário do serviço do Azure
- Integração do Exchange com Autenticação de Aplicativo do Azure
- Integração do Exchange com Autenticação de aplicativo e gráfico do Azure
- Como buscar dados para o Tableau com o Python
- Integração do Elasticsearch
- Integração auto-hospedada do Exchange
- Framework de automação da UiPath®
- Atividades do UiPath® Marketplace
- Atividades oficiais da UiPath®
- Como as máquinas aprendem a entender as palavras: um guia para incorporações ao NLP
- Aprendizado baseado em solicitação com Transformers
- Efficient Transformers II: extração de conhecimento e ajustes finos
- Transformers eficientes I: mecanismos de atenção
- Modelagem de intenção hierárquica profunda não supervisionada: obtenção de valor sem dados de treinamento
- Corrigindo viés de anotação com o Communications Mining™
- Aprendizado ativo: melhores modelos de ML em menos tempo
- Está tudo nos números - avaliando o desempenho do modelo com métricas
- Por que a validação de modelos é importante
- Comparação do Communications Mining™ e do Google AutoML para inteligência de dados de conversa
- Licenciamento
- Perguntas frequentes e mais
Guia do usuário do Communications Mining
A página Explorar tem vários modos de treinamento, e esta fase se concentra principalmente em três deles:
'Aleatório' - mostra uma seleção aleatória de mensagens para os usuários anotarem. É vital concluir uma parte significativa do treinamento na atividade Aleatório, para criar um conjunto de exemplos de treinamento que seja representativo do conjunto de dados mais amplo.
"Ensinar" (para mensagens não revisadas) - assim que a plataforma estiver fazendo previsões razoável para um rótulo, você poderá melhorar sua capacidade de prever o rótulo em relação aos exemplos mais variados. Basta revisar as mensagens no modo padrão Ensinar (que é para mensagens não revisadas mensagens). Isso mostrará mensagens em que a plataforma não tem certeza se o rótulo selecionado se aplica ou não.
“Baixa confiança” - mostra mensagens que não são bem cobertas pelas previsões informativas do rótulo. Essas mensagens não terão previsões ou previsões de confiança muito baixa para rótulos que a plataforma entende como informativos.
Esta seção da Base de Conhecimento também abordará o treinamento usando a PesquisanoExplorar , que é muito semelhante ao treinamento usando a Pesquisa no Descubra.
There is another training mode in Explore - Teach (for reviewed messages) - that is explained in the 'Refining Models & Using Validation' section of the Knowledge Base here.
Layout explicado:
| A | Ajuste o intervalo de datas ou período das mensagens exibidas |
| B | Adicione vários outros filtros com base nos metadados das mensagens, por exemplo pontuação ou remetente |
| C | Adicione um filtro de campo geral |
| D | Alterna de todas as mensagens para mensagens revisadas ou não revisadas, também ajusta as contagens de rótulos fixados versus previstos |
| E | Adicione um filtro de rótulo |
| F | Pesquise rótulos específicos em sua taxonomia |
| G | Adicionar rótulos adicionais |
| H | Expandir metadados da mensagem |
| I | Atualizar a consulta atual |
| J | Alterne entre diferentes modos de treinamento, como recente, aleatório, instruído e baixa confiança, e selecione o rótulo para classificar |
| K | Pesquise o conjunto de dados em busca de mensagens que contenham palavras ou frases específicas |
| L | Faça o download de todas as mensagens nesta página ou exporte o conjunto de dados com os filtros aplicados como um arquivo CSV |
O número de exemplos necessários para prever com precisão cada rótulo pode variar muito, dependendo da extensão ou especificidade de um conceito de rótulo.
Pode ser que um rótulo esteja normalmente associado a palavras, frases ou intenções muito específicas e facilmente identificáveis, e a plataforma seja capaz de prever isso de forma consistente com relação a poucos exemplos de treinamento. Também pode ser que um rótulo capture um tópico amplo com muitas variações diferentes de idioma que seriam associados a ele, caso em que pode exigir muito mais exemplos de treinamento para permitir que a plataforma identifique de forma consistente instâncias em que o rótulo deve ser aplicado.
Muitas vezes, a plataforma pode começar a fazer previsões para um rótulo com apenas cinco exemplos. Porém, para estimar com precisão o desempenho de um rótulo (o quão bem a plataforma é capaz de prevê-lo), cada rótulo exija pelo menos 25 exemplos.
Ao anotar no Explorar, os pequenos seletores vermelhas (exemplos mostrados abaixo) ao lado de cada rótulo indicam se mais exemplos são necessários para estimar com precisão o desempenho do rótulo. O mostrador começa a desaparecer à medida que você fornece mais exemplos de treinamento e desaparecerá completamente quando você atingir 25.
Isso não significa que, com 25 exemplos, a plataforma será capaz de prever com precisão todos os rótulos, mas pelo menos poderá validar o quão bem é capaz de prever cada rótulo e alertar você se for necessário um treinamento adicional.
Portanto, durante a fase Explorar, você deve fornecer pelo menos 25 exemplos para todos os rótulos nos quais está interessado, usando uma combinação das etapas mencionadas acima (principalmente Aleatório e Teach + Não revisado).
During the Refine phase it may become clear that more training is required for certain labels to improve their performance, and this is covered in detail here.
No Explorar, quando você atingir 25 exemplos fixados para um rótulo, você poderá ver um dos indicadores de desempenho do rótulo abaixo no lugar do mostrador de treinamento:
- O círculo cinza é um indicador de que a plataforma está calculando o desempenho desse rótulo. Ele será atualizado para desaparecer ou se tornar um círculo amarelo ou vermelho após o cálculo
- Âncora é um indicador de que o rótulo tem um desempenho um pouco menos satisfatório e pode ser melhorado
- A cor vermelha indica que o rótulo está apresentando um desempenho ruim e precisa de treinamento adicional/ações corretivas para melhorá-lo
- Se não houver nenhum círculo, isso significa que o rótulo está funcionando em um nível satisfatório (mas ainda pode precisar de melhorias, dependendo do caso de uso e dos níveis de precisão desejados)
- To understand more about label performance and how to improve it, you can start here
Se você selecionar o ícone de marcador (conforme mostrado abaixo) na parte superior da barra de filtro do rótulo para filtrar as mensagens revisadas, será mostrado para você o número de mensagens revisadas que têm esse rótulo aplicado.
Se você selecionar o ícone de computador para filtrar mensagens não revisadas, será mostrado o número total de previsões para esse rótulo (que também inclui o número de exemplos revisados).
No Explorar, quando nem revisadas nem não revisadas estiverem selecionadas, a plataforma mostra o número total de mensagens fixadas para um rótulo como padrão. Em Relatórios, o padrão é mostrar o total previsto.
- O modelo pode começar a fazer previsões com apenas algumas mensagens anotadas, embora, para que ele faça previsões confiáveis, você deva anotar no mínimo 25 mensagens por rótulo. Alguns exigirão mais do que isso, dependendo da complexidade dos dados, do rótulo e da consistência com os rótulos aplicados
- Em Explorar, você também deve tentar encontrar mensagens nas quais o modelo tenha previsto um rótulo incorretamente. Você deve remover rótulos incorretos e aplicar os corretos. Esse processo ajuda a evitar que o modelo faça uma previsão incorreta semelhante no futuro
