Introdução

O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.

Em vez de depender de seletores, o AI Computer Vision usa IA (Detecção de objetos, OCR, correspondência de texto difusa, correspondência de imagem para ícones) e um sistema de ancoragem para unir tudo. Mais exatamente, para localizar visualmente elementos na tela, o AI Computer Vision executa uma detecção de elemento (no servidor de aprendizado de máquina) e uma detecção de texto (OCR), combinando ambas para obter uma compreensão completa da UI. A relação entre os elementos detectados com esses dois métodos é então codificada em um descritor de várias âncoras, que identifica exclusivamente o elemento de destino.

O AI Computer Vision é composto por um conjunto de atividades que fazem parte do pacote de atividades UIAutomation, além de um servidor (que pode estar na nuvem, no local ou local) que hospeda um modelo de IA necessário para executar a análise real da UI que você está automatizando. Por padrão, nosso servidor de nuvem UiPath é usado e também é recomendado para todas as atividades do AI Computer Vision e UIAutomation. É possível usar o AI Computer Vision Cloud independentemente de seu tipo de implantação. Por exemplo, não importa se você tem o Orchestrator no local ou o Orchestrator na nuvem, você pode executar o Computer Vision na nuvem sem nenhuma configuração especial necessária.

Como alternativa, você pode hospedar e gerenciar seu próprio servidor local do AI Computer Vision e usá-lo para executar as atividades do AI Computer Vision. Ao usar esse tipo de servidor, você precisa ter sua própria infraestrutura de hardware (GPUs) ou ambiente de nuvem. Além disso, você precisa implantar, atualizar e manter seu próprio ambiente localmente. Em comparação com o servidor de nuvem da UiPath, você também pode ter problemas com a retrocompatibilidade ao atualizar o modelo de IA. Para obter mais detalhes sobre como evitar esse tipo de problema, acesse Resiliência de atualização de modelo.

O servidor local é outra versão que você pode optar. Ele é executado na CPU local e é a versão mais portátil. No entanto, ele é mais lento e tem uma precisão de detecção um pouco menor.

Principais benefícios

Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:

• Automação além dos seletores — habilita os robôs para reconhecer e interagir com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
• Confiável em VDIs e desktops — alivia problemas com técnicas de automação de imagens propensas a falhas e com direcionamento baseado em seletor em desktops. Comece criando automações no Citrix, VMware ou na Área de Trabalho Remota da Microsoft.
• Ampla gama de tipos de interface - Inclui ambientes VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo identificando e adicionando os elementos de Interface Gráfica no repositório de objetos para você.
• Recursos inteligentes e intuitivos — Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas no Vision.
• Suporte de rolagem automática em runtime — Automatize facilmente o conteúdo rolável em páginas da web ou aplicativos usando as atividades do AI Computer Vision.
• Recursos de multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
• Automação entre VDI e não VDI - Simplifica a automação de VDI para desktop, reduzindo as modificações necessárias.
• Várias opções de implantação - Implanta via SaaS; disponível no local para Linux e Windows, ou diretamente do seu desktop.
• Elementos de interface gráfica dinâmicos - Habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que se adaptem a pequenas alterações na IU e interajam com esses elementos dinâmicos.
• Disponível em Automação de Interface Gráfica como parte do Destino Unificado - Reduz a complexidade da criação de automações baseadas em interface gráfica quando você precisa de seletores e descritores do AI Computer Vision.

Opções de implantação

Para obter uma comparação paralela de nossas opções existentes de implantação do AI Computer Vision, consulte a seção Diferenças do AI Computer Vision no guia Visão geral.