Exemplo de uso de automação de imagem e COR

Como o OCR e a automação de imagem geralmente ocorrem juntos devido à dificuldade de automatizar em ambientes virtuais, criamos uma automação que recupera o e-mail e o número da fatura de um funcionário de uma fatura digitalizada. Em seguida, ela coloca as informações em um aplicativo de despesas fictício (ExpenseIt) em uma máquina virtual) e compara o total a partir da fatura com aquele no aplicativo:

1. Crie uma nova Sequência.
2. Abra a fatura digitalizada. A fatura usada no exemplo pode ser baixada aqui. Recomendamos usar o Adobe Acrobat Reader por razões de compatibilidade.
3. Como explicado aqui, extraia o e-mail do funcionário usando a tecnologia OCR. É gerado um contêiner, Attach Window, renomeado neste exemplo para Attach PDF, que contém o seletor e permite que todas as outras atividades saibam onde executar as ações. Nele, há uma Find Image, que seleciona a âncora para a coleta relativa, uma Get OCR Text, que recupera o endereço de e-mail do funcionário, e duas atividades Set Clipping Region, uma para traduzir a primeira região de recorte para a segunda, e a outra para redefinir a região de recorte.
4. No Painel de variáveis, crie uma nova variável GenericValue, chamada email.
5. Insira a variável de e-mail na propriedade Text da atividade Get OCR Text gerada anteriormente.
6. Nomeie a sequência acima Read Email.
   
   

   

   
   

   Observação: os mecanismos de OCR apresentados pelo UiPath Studio têm seus prós e contras; usá-los depende das circunstâncias, e testar qual deles faz o melhor trabalho em cada situação é fundamental para decidir qual deles usar. A alteração do mecanismo de OCR para diferentes tarefas pode melhorar seus resultados.
7. Conforme explicado aqui, extraia o número da fatura usando a tecnologia OCR. O gravador gera um contêiner, Attach Window, renomeado neste exemplo para Attach PDF, que contém o seletor e permite que todas as outras atividades saibam onde executar as ações. Dentro do contêiner, há um Find Image, que seleciona a âncora para a coleta relativa, um Get OCR Text que recupera o número da fatura do funcionário, e duas atividades Set Clipping Region: uma para traduzir a primeira região de recorte para a segunda, e um para redefinir a região de recorte.
8. No Painel de Variáveis, crie uma nova variável GenericValue chamada invoiceNo.
9. Insira a variável invoiceNo na propriedade Text da atividade Get OCR Text gerada anteriormente.
10. Nomeie a sequência acima Read Invoice Number.
    
    

    

    
    
11. Como explicado aqui, extraia as despesas totais do funcionário usando a tecnologia OCR. O gravador gera um contêiner, Attach PDF, que tem o seletor e permite que todas as outras atividades saibam onde executar as ações. Dentro dele, há uma Find Image, que seleciona a âncora para a coleta relativa, uma Get OCR Text, que recupera as despesas totais do funcionário, e duas atividades Set Clipping Region, uma para traduzir a primeira região de recorte para a segunda, e uma para redefinir a região de recorte.
12. No Painel de Variáveis, crie uma nova variável GenericValue chamada totalValue.
13. Insira a variável totalValue na propriedade Text da atividade Get OCR Text gerada anteriormente.
14. Nomeie a sequência acima como Read Total Expenses.
    
    

    

    
    

    Observação: uma prática recomendada ao abrir aplicativos em ambientes de máquinas virtuais é criar um atalho para o aplicativo que deve ser aberto na área de trabalho da máquina e atribuir a ele uma tecla de atalho. Às vezes, a tentativa de clicar no ícone do aplicativo usando o Click OCR Text pode falhar devido às alterações na cor em segundo plano ou no ícone que está sendo selecionado.
15. Crie um atalho para o aplicativo ExpenseIt na área de trabalho da máquina virtual.
16. Clique com o botão direito do mouse no atalho e selecione Propriedades no menu de contexto. A janela Propriedades do atalho é exibida.
17. Na guia Atalho, no campo Shortcut Key, atribua uma tecla de atalho ao aplicativo ao pressionar as teclas que você deseja usar, por exemplo, Alt + Ctrl + T.
    
    

    

    
    
18. Inicie uma nova sessão de gravação abrindo o Assistente de Gravação do Citrix.
19. Grave enviando para a janela da máquina virtual a tecla de atalho que foi anteriormente atribuída ao atalho do aplicativo.
20. Use Relative Scraping para clicar no campo Email no aplicativo ExpenseIt com base no local do seu rótulo.
21. No campo Email do aplicativo ExpenseIt, insira a variável email.
22. Use Relative Scraping para clicar no campo Employee Number no aplicativo ExpenseIt com base no local do seu rótulo.
23. Adicione a variável invoiceNo no campo Employee Number do aplicativo ExpenseIt.
24. Clique em Salvar e Sair no Assistente de Gravação. O gravador gera um contêiner Anexar Janela que tem o seletor e permite todas as outras atividades saberem onde executar ações. Ele contém uma atividade Send Hotkey, uma atividade Click Image, que clica no campo à direita do rótulo Email, uma atividade Type Into, que digita a variável Email no campo, uma atividade Click Image, que clica no campo à direita do rótulo Employee Number, e uma atividade Type Into, que digita a variável invoiceNo no campo.
    
    

    

    
    
25. Inicie uma nova sessão de gravação abrindo o Assistente de Gravação do Citrix.
26. Grave ao clicar no botão Criar relatório de despesas no aplicativo ExpenseIt.
27. Use Extração Relativa para extrair o valor que corresponde ao rótulo Total Expenses ($).
28. Clique em Salvar e Sair no Assistente de Gravação. O gravador gera um contêiner Anexar Janela que tem o seletor e permite todas as outras atividades saberem onde executar ações. Ele contém uma Click OCR Text, que clica no botão Create Expense Report, uma Find Image, que define a âncora para a coleta relativa, uma Get OCR Text, que recupera o valor total de despesas, e duas atividades Set Clipping Region, uma para traduzir a primeira região de recorte para a segunda, e uma para redefinir a região de recorte.
    
    

    

    
    
29. No Painel de Variáveis, crie uma nova variável GenericValue chamada totalExpense.
30. Insira a variável totalExpense no campo propriedade Texto da atividade Get OCR Text gerada anteriormente.
31. Arraste uma atividade If após a última sequência de gravação gerada.
32. Defina a propriedade Condition da atividade If como totalExpense = totalValue. Isso significa que a automação verifica se o valor total da fatura é igual ao valor do aplicativo de despesa.
33. Arraste uma atividade Message Box para a seção Then da atividade If.
34. No campo propriedade Texto da Caixa de Mensagens, escreva uma mensagem que indique que os valores são iguais, portanto, a fatura está correta.
35. Arraste uma atividade Message Box para a seção Else da atividade If.
36. No campo de propriedade Text da Message Box, escreva uma mensagem que indique que os valores não são iguais e, portanto, a fatura está incorreta.
    
    

    

    
    
37. Pressione F5 para executar a automação. Observe que a automação insere os dados do funcionário da fatura digitalizada no aplicativo ExpenseIt, compara o valor total da fatura com as despesas totais registradas e informa ao usuário se os valores são iguais ou não.

Como essa automação envolve se conectar a uma máquina virtual, carregar o projeto original é redundante, já que ele não funcionará em outra máquina. Incentivamos você a criar seu projeto seguindo as etapas acima.