Introdução

Visão geral do AI Computer Vision e sua abordagem de machine learning para identificação de elementos de interface gráfica no Automation Cloud.

O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.

Em vez de confiar em seletores, o AI Computer Vision usa IA (Detecção de objetos, OCR, correspondência de texto difusa, correspondência de imagens para ícones) e um sistema de ancoragem para unir tudo.

Para localizar visualmente elementos na tela, o AI Computer Vision realiza uma detecção de elementos (no servidor de machine learning) e uma detecção de texto (OCR) e combina esses dois em um entendimento completo da interface do usuário. A relação entre elementos detectados com esses dois métodos é então codificada em um descritor com várias âncoras, que identifica exclusivamente o elemento de destino.

O AI Computer Vision tem duas partes:

• Um conjunto de atividades que fazem parte do pacote de atividades de Automação de Interface Gráfica.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

A tabela a seguir descreve os três tipos de servidor e o que considerar para cada um.

Tipo de Servidor	Como funciona	O que considerar
Cloud (padrão e recomendado)	O servidor de nuvem UiPath é usado por padrão para todas as atividades do AI Computer Vision e Automação de Interface Gráfica.	Você pode usar a nuvem do AI Computer Vision independentemente do seu tipo de implantação. Independentemente de o Orchestrator estar local ou na nuvem, o Computer Vision na nuvem é executado sem necessidade de nenhuma configuração especial.
On-Premises	Você hospeda e gerencia seu próprio servidor do AI Computer Vision e o usa para executar as atividades do AI Computer Vision.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model.
Local	O servidor local é executado na CPU local e é a versão mais portátil.	Ela é mais lenta e tem uma precisão de detecção um pouco menor.

Principais benefícios

Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:

• Automação além dos seletores – Permita que os robôs reconheçam e interajam com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
• Confiável em VDIs e desktops - Resolve problemas com técnicas de automação de imagem propensas a falhas e com segmentação baseada em seletor em desktops. Comece criando automações dentro do Citrix, VMware ou na Área de Trabalho Remota da Microsoft.
• Ampla gama de tipos de interface — inclui ambientes de VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo fazendo com que os elementos de interface gráfica sejam identificados e adicionados ao repositório de objetos para você.
• Recursos inteligentes e intuitivos - Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas em visão.
• Suporte à rolagem automática em tempo de execução - Automatize facilmente o conteúdo rolável em páginas da Web ou aplicativos usando atividades do AI Computer Vision.
• Recursos multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
• Automação entre VDI e não VDI - Simplifica a automação da VDI para desktop reduzindo as modificações necessárias.
• Múltiplas opções de implantação - Implanta por meio de SaaS; disponível no local para Linux e Windows ou diretamente do seu desktop.
• Elementos de interface gráfica dinâmicos - habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que elas se adaptem a pequenas alterações na interface gráfica e interajam com esses elementos dinâmicos.
• Disponível em Automação de interface gráfica como parte do Destino Unificado - Reduz a complexidade da criação de automações baseadas em interface gráfica quando você precisa de seletores e descritores do AI Computer Vision.

Opções de implantação

Para obter uma comparação paralela de nossas opções de implantação do AI Computer Vision existentes, consulte a seção Diferenças do AI Computer Vision no guia Visão geral.