Introdução

O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.

Em vez de depender de seletores, o AI Computer Vision usa IA (Detecção de objetos, OCR, correspondência de texto difusa, correspondência de imagem para ícones) e um sistema de ancoragem para unir tudo. Mais exatamente, para localizar visualmente elementos na tela, o AI Computer Vision executa uma detecção de elemento (no servidor de aprendizado de máquina) e uma detecção de texto (OCR), combinando ambas para obter uma compreensão completa da UI. A relação entre os elementos detectados com esses dois métodos é então codificada em um descritor de várias âncoras, que identifica exclusivamente o elemento de destino.

O AI Computer Vision é composto por um conjunto de atividades que faz parte do pacote de atividades da Automação de interface gráfica, bem como um servidor (que pode ser em nuvem, nas instalações do cliente ou local) que hospeda um modelo de IA necessário para executar o análise real da interface do usuário que você está automatizando. Por padrão, nosso servidor de nuvem UiPath é usado e também recomendado para todas as atividades do AI Computer Vision e Automação de interface gráfica. Você pode usar a nuvem do AI Computer Vision independentemente do seu tipo de implantação. Por exemplo, não importa se você tem o Orchestrator local ou a nuvem do Orchestrator, você pode executar a nuvem do Computer Vision sem necessidade de nenhuma configuração especial.

Como alternativa, você pode hospedar e gerenciar seu próprio servidor AI Computer Vision local e usá-lo para executar as atividades do AI Computer Vision. Ao usar esse tipo de servidor, você precisa ter sua própria infraestrutura de hardware (GPUs) ou ambiente de nuvem. Além disso, você precisa implantar, atualizar e manter seu próprio ambiente localmente. Em comparação com o servidor de nuvem UiPath, você também pode ter problemas de compatibilidade retroativa ao atualizar o modelo de IA.

Servidor local é outra versão que você pode optar. Ele é executado na CPU local e é a versão mais portátil. No entanto, é mais lento e tem uma precisão de detecção um pouco menor.

Principais benefícios

Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:

• Automação além dos seletores – Permita que os robôs reconheçam e interajam com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
• Confiável em VDIs e desktops - Resolve problemas com técnicas de automação de imagem propensas a falhas e com segmentação baseada em seletor em desktops. Comece criando automações dentro do Citrix, VWware ou na Área de Trabalho Remota da Microsoft.
• Ampla gama de tipos de interface — inclui ambientes de VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo fazendo com que os elementos de interface gráfica sejam identificados e adicionados ao repositório de objetos para você.
• Recursos inteligentes e intuitivos - Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas em visão.
• Suporte à rolagem automática em tempo de execução - Automatize facilmente o conteúdo rolável em páginas da Web ou aplicativos usando atividades do AI Computer Vision.
• Recursos multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
• Automação entre VDI e não VDI - Simplifica a automação da VDI para desktop reduzindo as modificações necessárias.
• Múltiplas opções de implantação - Implanta por meio de SaaS; disponível no local para Linux e Windows ou diretamente do seu desktop.
• Elementos de interface gráfica dinâmicos - habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que elas se adaptem a pequenas alterações na interface gráfica e interajam com esses elementos dinâmicos.
• Disponível em Automação de interface gráfica como parte do Destino Unificado - Reduz a complexidade da criação de automações baseadas em interface gráfica quando você precisa de seletores e descritores do AI Computer Vision.

Opções de implantação

Para obter uma comparação paralela de nossas opções de implantação do AI Computer Vision existentes, consulte a seção Diferenças do AI Computer Vision no guia Visão geral.