Exemplo de uso de automação de imagem e COR

Como o OCR e a automação de imagem geralmente ocorrem juntos devido à dificuldade de automatizar em ambientes virtuais, criamos uma automação que recupera o e-mail e o número da fatura de um funcionário de uma fatura digitalizada. Em seguida, ela coloca as informações em um aplicativo de despesas fictício (ExpenseIt) em uma máquina virtual) e compara o total a partir da fatura com aquele no aplicativo:

1. Crie uma nova Sequência.
2. Abra a fatura digitalizada. A fatura usada no exemplo pode ser baixada aqui. Recomendamos usar o Adobe Acrobat Reader por razões de compatibilidade.
3. As explained Relative Scraping, scrape the employee’s email by using OCR technology. A container, Attach Window renamed in this example to Attach PDF, that holds the selector and lets all the other activities know where to perform actions is generated. In it, there are a Find Image, that selects the anchor for relative scraping, a Get OCR Text that retrieves the email address of the employee, and two Set Clipping Region activities: one to translate the first clipping region to the second one, and the other to reset the clipping region.
4. No Painel de variáveis, crie uma nova variável GenericValue, chamada email.
5. Insira a variável de e-mail na propriedade Text da atividade Get OCR Text gerada anteriormente.
6. Nomeie a sequência acima Read Email.
   
   

   

   
   

   Observação: os mecanismos de OCR apresentados pelo UiPath Studio têm seus prós e contras; usá-los depende das circunstâncias, e testar qual deles faz o melhor trabalho em cada situação é fundamental para decidir qual deles usar. A alteração do mecanismo de OCR para diferentes tarefas pode melhorar seus resultados.
7. As explained in Relative Scraping, scrape the invoice number by using OCR technology. The recorder generates a container, Attach Window renamed in this example to Attach PDF, that holds the selector and lets all the other activities know where to perform actions. Inside the container, there are a Find Image, that selects the anchor for relative scraping, a Get OCR Text that retrieves the invoice number of the employee, and two Set Clipping Region activities, one to translate the first clipping region to the second one, and one to reset the clipping region.
8. No Painel de Variáveis, crie uma nova variável GenericValue chamada invoiceNo.
9. Insira a variável invoiceNo na propriedade Text da atividade Get OCR Text gerada anteriormente.
10. Nomeie a sequência acima Read Invoice Number.
    
    

    

    
    
11. As explained Relative Scraping, scrape the employee’s total expenses by using OCR technology. The recorder generates a container, Attach PDF, that holds the selector and lets all the other activities know where to perform actions. Inside it, there are a Find Image, that selects the anchor for relative scraping, a Get OCR Text that retrieves the total expenses of the employee, and two Set Clipping Region activities, one to translate the first clipping region to the second one, and one to reset the clipping region.
12. No Painel de Variáveis, crie uma nova variável GenericValue chamada totalValue.
13. Insira a variável totalValue na propriedade Text da atividade Get OCR Text gerada anteriormente.
14. Nomeie a sequência acima como Read Total Expenses.
    
    

    

    
    

    Observação: uma prática recomendada ao abrir aplicativos em ambientes de máquinas virtuais é criar um atalho para o aplicativo que deve ser aberto na área de trabalho da máquina e atribuir a ele uma tecla de atalho. Às vezes, a tentativa de clicar no ícone do aplicativo usando o Click OCR Text pode falhar devido às alterações na cor em segundo plano ou no ícone que está sendo selecionado.
15. Crie um atalho para o aplicativo ExpenseIt na área de trabalho da máquina virtual.
16. Clique com o botão direito do mouse no atalho e selecione Propriedades no menu de contexto. A janela Propriedades do atalho é exibida.
17. Na guia Atalho, no campo Shortcut Key, atribua uma tecla de atalho ao aplicativo ao pressionar as teclas que você deseja usar, por exemplo, Alt + Ctrl + T.
    
    

    

    
    
18. Inicie uma nova sessão de gravação abrindo o Assistente de Gravação do Citrix.
19. Grave enviando para a janela da máquina virtual a tecla de atalho que foi anteriormente atribuída ao atalho do aplicativo.
20. Use Relative Scraping para clicar no campo Email no aplicativo ExpenseIt com base no local do seu rótulo.
21. No campo Email do aplicativo ExpenseIt, insira a variável email.
22. Use Relative Scraping para clicar no campo Employee Number no aplicativo ExpenseIt com base no local do seu rótulo.
23. Adicione a variável invoiceNo no campo Employee Number do aplicativo ExpenseIt.
24. Clique em Salvar e Sair no Assistente de Gravação. O gravador gera um contêiner Anexar Janela que tem o seletor e permite todas as outras atividades saberem onde executar ações. Ele contém uma atividade Send Hotkey, uma atividade Click Image, que clica no campo à direita do rótulo Email, uma atividade Type Into, que digita a variável Email no campo, uma atividade Click Image, que clica no campo à direita do rótulo Employee Number, e uma atividade Type Into, que digita a variável invoiceNo no campo.
    
    

    

    
    
25. Inicie uma nova sessão de gravação abrindo o Assistente de Gravação do Citrix.
26. Grave ao clicar no botão Criar relatório de despesas no aplicativo ExpenseIt.
27. Use Extração Relativa para extrair o valor que corresponde ao rótulo Total Expenses ($).
28. Clique em Salvar e Sair no Assistente de Gravação. O gravador gera um contêiner Anexar Janela que tem o seletor e permite todas as outras atividades saberem onde executar ações. Ele contém uma Click OCR Text, que clica no botão Create Expense Report, uma Find Image, que define a âncora para a coleta relativa, uma Get OCR Text, que recupera o valor total de despesas, e duas atividades Set Clipping Region, uma para traduzir a primeira região de recorte para a segunda, e uma para redefinir a região de recorte.
    
    

    

    
    
29. No Painel de Variáveis, crie uma nova variável GenericValue chamada totalExpense.
30. Insira a variável totalExpense no campo propriedade Texto da atividade Get OCR Text gerada anteriormente.
31. Arraste uma atividade If após a última sequência de gravação gerada.
32. Defina a propriedade Condition da atividade If como totalExpense = totalValue. Isso significa que a automação verifica se o valor total da fatura é igual ao valor do aplicativo de despesa.
33. Arraste uma atividade Message Box para a seção Then da atividade If.
34. No campo propriedade Texto da Caixa de Mensagens, escreva uma mensagem que indique que os valores são iguais, portanto, a fatura está correta.
35. Arraste uma atividade Message Box para a seção Else da atividade If.
36. No campo de propriedade Text da Message Box, escreva uma mensagem que indique que os valores não são iguais e, portanto, a fatura está incorreta.
    
    

    

    
    
37. Press F5 to run the automation. Note that the automation inputs the employee data from the scanned invoice into the ExpenseIt application, compares the total value of the invoice with the total expenses registered, and informs the user if the values are equal or not.

Como essa automação envolve se conectar a uma máquina virtual, carregar o projeto original é redundante, já que ele não funcionará em outra máquina. Incentivamos você a criar seu projeto seguindo as etapas acima.