- Notas de versão
- Visão geral
- Introdução
- Resiliência de atualização de modelo
- Configuração e Instalação
- Armazenamento de dados
Introdução
O AI Computer Vision é um método baseado em aprendizado de máquina usado para identificar visualmente todos os elementos da interface gráfica em uma tela de computador e interagir com eles por meio do UiPath Robots, simulando a interação humana. Ele não requer nem usa as propriedades subjacentes dos aplicativos, mas apenas o aspecto e o relacionamento de vários elementos da tela.
Em vez de depender de seletores, o AI Computer Vision usa IA (Detecção de objetos, OCR, correspondência de texto difusa, correspondência de imagem para ícones) e um sistema de ancoragem para unir tudo. Mais exatamente, para localizar visualmente elementos na tela, o AI Computer Vision executa uma detecção de elemento (no servidor de aprendizado de máquina) e uma detecção de texto (OCR), combinando ambas para obter uma compreensão completa da UI. A relação entre os elementos detectados com esses dois métodos é então codificada em um descritor de várias âncoras, que identifica exclusivamente o elemento de destino.
O AI Computer Vision é composto por um conjunto de atividades que faz parte do pacote de atividades da Automação de interface gráfica, bem como um servidor (que pode ser em nuvem, nas instalações do cliente ou local), que hospeda um modelo de IA e que é necessário para realizar a análise real da interface do usuário que você está automatizando. Por padrão, nosso servidor de nuvem UiPath é usado e também recomendado para todas as atividades do Computer Vision e Automação de interface gráfica. Você pode usar a nuvem do Computer Vision independentemente do seu tipo de implantação. Por exemplo, não importa se você tem o Orchestrator local ou a nuvem do Orchestrator, você pode executar a nuvem do Computer Vision sem necessidade de nenhuma configuração especial.
Como alternativa, você pode hospedar e gerenciar seu próprio servidor local do AI Computer Vision e usá-lo para executar as atividades do AI Computer Vision. Ao usar esse tipo de servidor, você precisa ter sua própria infraestrutura de hardware (GPUs) ou ambiente de nuvem. Além disso, você precisa implantar, atualizar e manter seu próprio ambiente localmente. Em comparação com o servidor de nuvem da UiPath, você também pode ter problemas com a retrocompatibilidade ao atualizar o modelo de IA. Para obter mais detalhes sobre como evitar esse tipo de problema, acesse Resiliência de atualização de modelo.
O servidor local é outra versão que você pode optar. Ele é executado na CPU local e é a versão mais portátil. No entanto, ele é mais lento e tem uma precisão de detecção um pouco menor.
Aqui estão alguns recursos do AI Computer Vision que você pode se beneficiar:
- Automação além dos seletores — habilita os robôs para reconhecer e interagir com mais campos e componentes na tela, até mesmo Flash, Silverlight, PDFs e imagens.
- Confiável em VDIs e desktops — alivia problemas com técnicas de automação de imagens propensas a falhas e com direcionamento baseado em seletor em desktops. Comece criando automações no Citrix, VMware ou na Área de Trabalho Remota da Microsoft.
- Ampla gama de tipos de interface - Inclui ambientes VDI (Citrix, VMWare, Microsoft RDP, VNC e outros) para aplicativos de desktop e web. Economize seu tempo identificando e adicionando os elementos de Interface Gráfica no repositório de objetos para você.
- Recursos inteligentes e intuitivos — Fornece detalhes, validação e notificações sobre seleções na tela por meio de um assistente na tela. Usa o gravador para gerar facilmente automações completas baseadas no Vision.
- Suporte de rolagem automática em tempo de execução — Automatize facilmente o conteúdo rolável em páginas da web ou aplicativos usando as atividades do Computer Vision.
- Recursos de multiplataforma - Automatize para Windows, Linux, Android e outros sistemas operacionais por meio de áreas de trabalho remotas.
- Automação entre VDI e não VDI - Simplifica a automação de VDI para desktop, reduzindo as modificações necessárias.
- Várias opções de implantação - Implanta via SaaS; disponível no local para Linux e Windows, ou diretamente do seu desktop.
- Elementos de interface gráfica dinâmicos - Habilita automações que incluem tabelas, listas suspensas e elementos de caixa de seleção. Isso aumenta a resiliência de suas automações, permitindo que se adaptem a pequenas alterações na IU e interajam com esses elementos dinâmicos.
- Disponível em Automação de Interface Gráfica como parte do Destino Unificado - Reduz a complexidade de criar automações baseadas em interface gráfica quando são necessários tanto seletores quanto descritores do Computer Vision.
Na tabela abaixo, você pode encontrar uma comparação lado a lado de nossas opções atuais de implantação da Visão Computacional.
| UiPath Cloud server | Servidor On-Premises | Servidor local | Comments | |
|---|---|---|---|---|
| Teste de regressão do modelo | Cada novo modelo ainda detecta todos os dados de tempo de design que sua iteração anterior estava detectando, para que a automação em execução não interrompa. | |||
| Armazenamento de dados simulado em tempo de design | O modelo aprende formas e cores dos elementos da interface do usuário, portanto, é recomendável usar dados simulados sem informações confidenciais. | |||
| Armazenamento de dados em tempo de execução | Os dados de produção do runtime (que podem conter informações confidenciais) nunca são usados ou armazenados; eles são usados apenas como entrada para o modelo de IA. | |||
| Servidor gratuito e sem complicações | N/A | |||
| Velocidade | Alta (GPU) | Alta (GPU) | Ligeiramente inferior (CPU) | O servidor local é uma versão compactada do modelo de nuvem (menos células) que pode se encaixar bem em cenários leves com elementos de Interface Gráfica de aparência mais genérica. |
| Precisão de visão | Alta | Alta | Ligeiramente menor | O servidor local é uma versão compactada do modelo de nuvem (menos células) que pode se encaixar bem em cenários leves com elementos de Interface Gráfica de aparência mais genérica. |
| Gratuito com uma licença Enterprise | N/A | |||
| Uso |
| Ilimitado | Ilimitado | O limite de uso do servidor de nuvem da UiPath foi projetado para permitir uma margem muito grande. É muito difícil atingir esse limite, mesmo nos cenários de uso mais intensa. |
