Validação com influência humana no loop

Visão geral

A influência humana no loop (HITL) no Communications Mining é projetada para apoiar a tomada de decisões operacional quando a confiança do modelo é insuficiente, ao preservar a integridade dos dados de treinamento do modelo.

Em uma automação de produção, o modelo é usado para classificar comunicações recebidas em tempo real. Quando o modelo não pode prever com confiança os rótulos corretos, a automação envolve temporariamente um usuário humano para validar ou corrigir a previsão, para que o processo de negócios possa continuar sem interrupção.

É importante distinguir entre o seguinte:

• Validação operacional que os usuários finais executam no Action Center.
• Treinamento e manutenção do modelo que os treinadores do modelo executam posteriormente.

A validação do HITL garante que:

• A automação pode prosseguir imediatamente usando rótulos corrigidos.
• A comunicação é tratada corretamente do ponto de vista empresarial.

No entanto, a validação de HITL não retreina ou atualiza diretamente o modelo. Em vez disso, as comunicações que exigem intervenção humana são marcadas explicitamente como exceções, permitindo que os treinadores de modelos as revisem e anotem posteriormente de forma controlada como parte de um processo de manutenção de modelo em andamento, ou seja, treinamento de exceção.

Essa separação garante:

• Dados de treinamento consistentes e de alta qualidade.
• Proteção contra anotações incompletas ou tendenciosas.
• Melhoria contínua do modelo sem afetar o desempenho da automação ao vivo.

Fluxo de Trabalho

1. O Robô captura as comunicações do Fluxo.
2. O Robô avalia a confiança do modelo.
3. Se a confiança estiver abaixo do limite, a validação será necessária.
4. Uma tarefa de validação é criada no Action Center. Para obter mais detalhes, consulte Criar tarefa de formulário.
5. O conteúdo de comunicação e os rótulos previstos são apresentados a um usuário humano.
6. O ser humano valida ou corrige rótulos no Action Center.
7. Essas correções são usadas apenas para processamento subsequente, não para treinamento do modelo.
8. O Robô marca a comunicação como uma exceção por meio da API. Isso sinaliza a mensagem para revisão posterior pelos treinadores do modelo. Para obter mais detalhes, consulte Marcar uma exceção.
9. O Robô continua a processar imediatamente. A comunicação não é processada novamente por meio do Stream.
10. Os rótulos corrigidos são aplicados para fins operacionais, por exemplo, upload para o Communications Mining ou sistemas downstream.
11. Mais tarde, o treinador do modelo revisa a exceção. O treinador anota a mensagem corretamente no Communications Mining. Essas anotações podem ser incluídas em futuros ciclos de treinamento.

Observação:

As correções de validação feitas no Action Center não retreinam ou atualizam automaticamente o modelo.