Introdução

Visão geral do AI Computer Vision e sua abordagem de machine learning para identificação de elementos de interface gráfica no Automation Suite.

O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.

Em vez de confiar em seletores, o AI Computer Vision usa IA (Detecção de objetos, OCR, correspondência de texto difusa, correspondência de imagens para ícones) e um sistema de ancoragem para unir tudo.

Para localizar visualmente elementos na tela, o AI Computer Vision realiza uma detecção de elementos (no servidor de machine learning) e uma detecção de texto (OCR) e combina esses dois em um entendimento completo da interface do usuário. A relação entre elementos detectados com esses dois métodos é então codificada em um descritor com várias âncoras, que identifica exclusivamente o elemento de destino.

O AI Computer Vision tem duas partes:

• Um conjunto de atividades que fazem parte do pacote de atividades de Automação de Interface Gráfica.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

A tabela a seguir descreve os três tipos de servidor e o que considerar para cada um.

Tipo de Servidor	Como funciona	O que considerar
Cloud (padrão e recomendado)	O servidor de nuvem UiPath é usado por padrão para todas as atividades do AI Computer Vision e Automação de Interface Gráfica.	Você pode usar a nuvem do AI Computer Vision independentemente do seu tipo de implantação. Independentemente de o Orchestrator estar local ou na nuvem, o Computer Vision na nuvem é executado sem necessidade de nenhuma configuração especial.
On-Premises	Você hospeda e gerencia seu próprio servidor do AI Computer Vision e o usa para executar as atividades do AI Computer Vision.	Você precisa de sua própria infraestrutura de hardware (GPUs) ou ambiente de nuvem, que você implanta, atualiza e mantém localmente. Em comparação com o servidor de nuvem UiPath, você também pode ter problemas de compatibilidade retroativa ao atualizar o modelo de IA — consulte Resiliência de atualização do modelo para evitá-los
Local	O servidor local é executado na CPU local e é a versão mais portátil.	Ela é mais lenta e tem uma precisão de detecção um pouco menor.

Principais benefícios

Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:

• Automação além dos seletores – Permita que os robôs reconheçam e interajam com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
• Confiável em VDIs e desktops - Resolve problemas com técnicas de automação de imagem propensas a falhas e com segmentação baseada em seletor em desktops. Comece criando automações dentro do Citrix, VMware ou na Área de Trabalho Remota da Microsoft.
• Ampla gama de tipos de interface — inclui ambientes de VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo fazendo com que os elementos de interface gráfica sejam identificados e adicionados ao repositório de objetos para você.
• Recursos inteligentes e intuitivos - Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas em visão.
• Suporte à rolagem automática em tempo de execução - Automatize facilmente o conteúdo rolável em páginas da Web ou aplicativos usando atividades do AI Computer Vision.
• Recursos multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
• Automação entre VDI e não VDI - Simplifica a automação da VDI para desktop reduzindo as modificações necessárias.
• Múltiplas opções de implantação - Implanta por meio de SaaS; disponível no local para Linux e Windows ou diretamente do seu desktop.
• Elementos de interface gráfica dinâmicos - habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que elas se adaptem a pequenas alterações na interface gráfica e interajam com esses elementos dinâmicos.
• Disponível em Automação de interface gráfica como parte do Destino Unificado - Reduz a complexidade da criação de automações baseadas em interface gráfica quando você precisa de seletores e descritores do AI Computer Vision.

Opções de implantação

Para obter uma comparação paralela de nossas opções de implantação do AI Computer Vision existentes, consulte a seção Diferenças do AI Computer Vision no guia Visão geral.