Introdução

Visão geral do AI Computer Vision e sua abordagem de machine learning para identificação de elementos de interface gráfica em implantações independentes.

O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.

Rather than relying on selectors, AI Computer Vision uses AI (Object Detection, OCR, fuzzy text-matching, image-matching for icons) and an anchoring system to tie it all together.

To visually locate elements on the screen, AI Computer Vision performs an element detection (on the machine-learning server) and a text (OCR) detection, and combines these two into a full understanding of the UI. The relationship between elements detected with these two methods is then encoded into a multi-anchor descriptor, which uniquely identifies the targeted element.

AI Computer Vision has two parts:

• A set of activities, which are part of the UI Automation activity package.
• A server hosting the AI model that performs the actual analysis of the UI you're automating. The server can be cloud, on-premises, or local.

The following table describes the three server types and what to consider for each one.

Tipo de Servidor	Como funciona	What to consider
Cloud (default and recommended)	The UiPath cloud server is used by default for all AI Computer Vision and UI Automation activities.	You can use AI Computer Vision cloud regardless of your deployment type. Whether Orchestrator is on-premises or in the cloud, Computer Vision cloud runs with no special configuration required.
On-Premises	You host and manage your own AI Computer Vision server, and use it to run the AI Computer Vision activities.	You need your own hardware infrastructure (GPUs) or cloud environment, which you deploy, update, and maintain locally. Compared to the UiPath cloud server, you might also run into backwards compatibility issues when upgrading the AI model — see Model update resilience to avoid them
Local	The local server runs on local CPU and is the most portable version.	It is slower and has a slightly lower detection accuracy.

Principais benefícios

Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:

• Automação além dos seletores – Permita que os robôs reconheçam e interajam com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
• Confiável em VDIs e desktops - Resolve problemas com técnicas de automação de imagem propensas a falhas e com segmentação baseada em seletor em desktops. Comece criando automações dentro do Citrix, VMware ou na Área de Trabalho Remota da Microsoft.
• Ampla gama de tipos de interface — inclui ambientes de VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo fazendo com que os elementos de interface gráfica sejam identificados e adicionados ao repositório de objetos para você.
• Recursos inteligentes e intuitivos - Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas em visão.
• Suporte à rolagem automática em tempo de execução - Automatize facilmente o conteúdo rolável em páginas da Web ou aplicativos usando atividades do AI Computer Vision.
• Recursos multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
• Automação entre VDI e não VDI - Simplifica a automação da VDI para desktop reduzindo as modificações necessárias.
• Múltiplas opções de implantação - Implanta por meio de SaaS; disponível no local para Linux e Windows ou diretamente do seu desktop.
• Elementos de interface gráfica dinâmicos - habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que elas se adaptem a pequenas alterações na interface gráfica e interajam com esses elementos dinâmicos.
• Disponível em Automação de interface gráfica como parte do Destino Unificado - Reduz a complexidade da criação de automações baseadas em interface gráfica quando você precisa de seletores e descritores do AI Computer Vision.

Opções de implantação

Para obter uma comparação paralela de nossas opções de implantação do AI Computer Vision existentes, consulte a seção Diferenças do AI Computer Vision no guia Visão geral.