- Visão geral
- Automação de Interface Gráfica
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Application event trigger
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- For Each UI Element
- Get Attribute
- Get Browser Data
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Select Item
- Set Browser Data
- Set Runtime Browser
- Set Text
- Take Screenshot
- Type Into
- Use Application/Browser
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Aguardar Texto da Tela
- Aguardar Texto na Posição
Atividades do UIAutomation
v23.4
Data de lançamento: 3 de abril de 2024
Para fins de rastreabilidade e velocidade de depuração na análise de tempo de execução do Computer Vision, o DesignTime ScreenId agora é enviado no cabeçalho da solicitação HTTP.
Data de lançamento: 26 de outubro de 2023
Data de lançamento: 5 de outubro de 2023
-
Corrigido o suporte do Active Accessibility interrompido para páginas da web contendo elementos IFrame ou PDFs no Chrome e Edge versão 117, o que causava falha nos seletores
<ctrl />
.Também foi adicionada a opção de passar argumentos de linha de comando extras para o navegador aberto usando as atividades Abrir Navegador / Usar Navegador . Isso pode ser feito definindo a variável de ambiente apropriada usando a atividade Set Environment Variable :UIPATH_EXTRA_CMD_ARGS_CHROME
UIPATH_EXTRA_CMD_ARGS_EDGE
UIPATH_EXTRA_CMD_ARGS_FIREFOX
Essas variáveis podem ser usadas para forçar a habilitação do suporte do Active Accessibility no Chrome e no Edge para evitar problemas como o suporte do Chrome/Edge Active Accessibility interrompido das versões 114 e 117.
Para o Chrome, defina a variável de ambienteUIPATH_EXTRA_CMD_ARGS_CHROME
com o valor--force-renderer-accessibility=complete
.Para o Edge, defina a variável de ambienteUIPATH_EXTRA_CMD_ARGS_EDGE
com o valor--force-renderer-accessibility=complete
.
Data de lançamento: 2 de agosto de 2023
- Corrigido um bug para a atividade Send Hotkey que fazia o arquivo .xaml ser mostrado como não salvo.
- Corrigido um bug para a atividade Use Application/Browser que gerava uma exceção no momento do design no StudioX devido ao asterisco indicando que um campo de propriedade era necessário.
- Adicionamos compatibilidade ao componente CTable do aplicativo Clarity Java.
Data de lançamento: 7 de junho de 2023
- As atualizações mais recentes do Chrome e Edge para a versão 114 introduziram uma alteração significativa na forma como o suporte para Active Accessibility está habilitado. Isso fazia com que os processos de automação falhassem ao tentar interagir com as telas do navegador, como o pop-up de impressão ou o visualizador de PDF.
Data de lançamento: 7 de junho de 2023
Data de lançamento: 27 de abril de 2023
As conexões de navegador da Automação de Interface Gráfica agora podem ser usadas em projetos multiplataforma.
Você pode criar e editar uma conexão apenas no Studio Web (atualmente em visualização) e consumi-la no Studio Web e no Studio Desktop.
A funcionalidade pode ser executada apenas com o Automation Cloud Robotsem servidor; tentar executar o recurso com robôs locais resulta em falha.
Para obter mais informações, consulte a página dedicada à conexão do navegador da automação de interface gráfica .
Data de lançamento: 27 de abril de 2023
- UiPath.UIAutomation.Activities - pacote de tempo de design
- UiPath.UIAutomation.Activities.Runtime - pacote de runtime; visa projetos do Windows e do Windows - Legado
- UiPath.UIAutomation.Activities.Runtime.Portable - runtime para o pacote Portable; alvo de projetos multiplataforma
UIPATH_OPEN_BROWSER_TIMEOUT_SECONDS
.
Agora você pode usar as atividades Abrir Aplicativo e Use Aplicativo/Navegador para abrir o aplicativo do Power BI Desktop.
Adicionamos a opção Verificar suporte para mais caixas de seleção de navegador.
Melhoramos a atividade Select Item para oferecer suporte a menus suspensos HTML complexos, como menus suspensos não nativos e não SAP Fiori/Salesforce.
UiPathRemoteRuntime.msi
.
O seletor do UI Explorer não inclui mais a raiz oculta para nós de árvore.
O UI Explorer não restaura mais a janela do Studio após indicar um elemento.
Modifiers
para dados de evento agora é mapeado para a enumeração NKeyModifier
e retorna uma string (como Shift, Alt ou Ctrl) em vez de um número inteiro quando o método toString()
é chamado.
Se uma atividade Moderna for usada em um projeto, essas informações agora serão incluídas no pacote publicado e estarão disponíveis no Orchestrator. Esta funcionalidade requer o Studio 2023.4 ou posterior.
webRequest
às extensões do Chrome e Edge para permitir o uso da API webRequest
. As extensões do Chrome e Edge v2023.4 foram publicadas nas Web Stores com novos IDs de extensão. As extensões auto-hospedadas, usadas para instalações off-line de política de grupo, também foram atualizadas com essa permissão, mas mantêm o mesmo ID de extensão.
Ao instalar extensões usando o método Somente Host Nativo , o arquivo para a extensão auto-hospedada também é gerado, para que possa ser adicionado à política ExtensionInstallForceList .
Suporte aprimorado para navegadores incorporados baseados no Chromium
Melhoramos o suporte para navegadores incorporados baseados em Chromium (Electron, CEF 103+) e adicionamos suporte para janelas WebView2 órfãs.
Adicionamos suporte para as versões 108, 109 e 110 do Chromium Native.
O encaminhamento de chamadas entre origens para navegadores Chromium Native incorporados agora é compatível. Isso se aplica a controles nativos do CEF e Web Electron.
Adicionamos suporte para automatizar widgets CefSharp incorporados em aplicativos com vários threads de interface gráfica.
Melhoramos o suporte para aplicativos Electron que criam vários BrowserViews dentro de uma única BrowserWindow. Agora cada exibição pode ser automatizada.
<wnd>
e <ctrl>
tags , Web com tags <webctrl>
, e Java com tags <java>
. Os eventos estão disponíveis por meio da nova atividade Application Event Trigger , que ajuda a configurar um gatilho com base em um evento nativo para qualquer tipo de elemento de interface gráfica.
Também no contexto de automação Attended baseada em gatilhos, migramos os gatilhos Clássicos mais usados para a estrutura Moderna. As novas atividades modernas Click Event Trigger e Keypress Event Trigger foram projetadas para identificar os elementos por meio de um conceito de destino unificado, usar um elemento do Repositório de objetos e oferecer uma interface do usuário mais amigável.
Um motivo importante pelo qual os fornecemos como parte da solução de automação Attended baseada em gatilho é que esses gatilhos podem bloquear o evento original e repeti-lo mais tarde, ou simplesmente ignorá-lo. Esse recurso específico permite que cenários de implementação, como o envio de um formulário seja interrompido até que todos os campos estejam preenchidos corretamente.
As atividades clássicas antiga Click Trigger e Key Press Trigger ainda estão visíveis nesta versão do pacote se o filtro Clássico for adicionado na guia Atividades.
- Quando a atividade está dentro de um Trigger Scope, ela não exibe o Modo de agendamento e as propriedades Habilitado . Nesse caso, a propriedade Modo de agendamento estará disponível na atividade Trigger Scope .
- Quando a atividade é adicionada sem um Trigger Scope, o Trigger Scope é gerado automaticamente e o Modo de agendamento e as propriedades Habilitado são exibidas para a atividade Trigger.
- Hotkey Trigger
- Mouse Trigger
- Click Image Trigger
- System Trigger
- SAP Session Attributes Change Trigger
- Element State Change Trigger
- Element Attribute Change Trigger
As atividades Element State Change Trigger e Element Attribute Change Trigger , no entanto, agora estão ocultas do pacote de atividades. Se forem encontradas no fluxo de trabalho, elas poderão ser usadas, mas não poderão mais ser adicionadas à tela.
A atividade Set Text acabou de receber uma versão moderna, que pode identificar destinos com o conceito de destino unificado e pode usar um elemento armazenado do Repositório de Objetos. Além disso, ele pode armazenar em cache o elemento de destino para aumentar a velocidade de execução ao executar repetidamente, por exemplo, ao sincronizar texto entre vários elementos de interface gráfica.
Os aplicativos WPF podem ser automatizados por meio do Active Accessibility, que funciona pronto para uso, a menos que o suporte de acessibilidade seja desabilitado para esse aplicativo. Por exemplo, o suporte de acessibilidade pode ser perdido após uma atualização do aplicativo e, nesse caso, você pode não conseguir segmentar elementos individuais em áreas específicas.
<wpf>
, resilientes a mudanças.
Essa funcionalidade está disponível por meio de uma nova Configuração do Projeto: Automação de Interface Gráfica Moderna > Métodos de segmentação — Aplicativos de área de trabalho > Gerar seletores WPF nativos (pré-visualização). O valor padrão para essa opção é False.
Na v2023.4, esta funcionalidade está sob o sinalizador de Visualização , pois as versões futuras podem introduzir alterações significativas.
As atividades Inject JS Script , tanto a Clássica quanto a Moderna, têm um novo campo de propriedade de Mundo de execução , que permite definir o mundo JavaScript de um script a ser executado nele. A opção Isolado é para a funcionalidade anterior da atividade, permitindo que o script de conteúdo faça alterações em seu ambiente de JavaScript sem entrar em conflito com a página. A nova opção Página permite que o script também interaja com a página.
Outra atividade moderna que foi adicionada ao pacote de atividades foi a Check Element. Agora, você pode verificar o estado de elementos habilitados ou desabilitados de uma forma selecionada e executar Actions com base em seu estado, por exemplo, ao criar uma automação que navega em um aplicativo de várias páginas para extrair dados e você chega à última página, a próxima página é desativado e você precisa interromper a extração.
UiElement
como entrada. Portanto, todas as atividades Modernas foram atualizadas adequadamente.
Adicionado suporte para escrever uma lista de elementos ao usar a atividade Get Attribute no StudioX e salvá-la no Excel.
A correspondência para o seletor de imagens foi aprimorada usando a taxa de fator de escala (tempo de design em relação ao tempo de Runtime).
Melhoramos o retorno de tipos de objetos para a atividade Get Attribute com base nos atributos selecionados.
Adicionado um indicador vermelho para nomes de colunas duplicados no gravador de Extração de Tabela .
sapweb-ls
(para controles de Velocidade Light) ou sapweb-
(para controles SAP Scripting) e a capacidade de usar a Automação de Interface Gráfica de maneira confiável com Eventos de Hardware (Click, Type Into, Select Itemetc.). Nesta versão, adicionamos suporte específico para os seguintes elementos: botões do SAP (ícones, botões de pressão e botões de opção), campos de entrada do SAP, listas suspensas do SAP e caixas de seleção do SAP.
Adicionamos suporte específico para Calendários do SAP Fiori. Agora, com a atividade Select Dates in Calendar , você pode automatizar facilmente calendários para todos os sistemas baseados em SAP Fiori, como SAP S/4HANA ou SAP SuccessFactors.
ui5c-
e são representados no formato JSON. Observe que o conteúdo dos novos atributos é persistente, mas as strings não são confiáveis. Por exemplo, você pode ter {“a”:”value1”, “b”:”value2”}
para a primeira chamada e {“b”:”value2”, “a”:”value1”}
para a próxima chamada.
O Computer Vision agora faz parte da solução Destino Unificado para ajudar você a reduzir a complexidade da construção de automações baseadas na interface gráfica quando você precisar de seletores e descritores do Computer Vision.
Adicionar o Computer Vision ao destino unificado aumenta a confiabilidade e a resiliência às alterações na automação baseada em IU: muitas vezes, você não controla as alterações na IU do aplicativo; os robôs da UiPath devem lidar com essas situações pronto para uso e não parar de funcionar, permanecendo não influenciados pelas alterações de determinado tipo de interface gráfica.
O Computer Vision pode ser útil para atingir os elementos da interface gráfica nos raros casos em que o driver não consegue "ver" determinados elementos ou, às vezes, pode ser a única tecnologia viável, como no caso da automação de VDI. Outros casos de uso de Computer Vision abrangem todos os lugares entre esses cenários mencionados.
Em termos de portabilidade, qualquer automação indicada no Windows nativo pode ser reutilizada em ambientes de Área de Trabalho Remota, substituindo o seletor de janela.
Em Configurações do projeto > UI Automation Modern, o caminho feliz para o Computer Vision é ser habilitado por padrão para aplicativos de Desktop, Java e navegadores da Web e desabilitado por padrão para SAP , pois o caminho feliz para SAP é usar os seletores restritos.
O Computer Vision também pode ser habilitado a partir do novo design de barra vertical do Auxiliar de Opções de Seleção e possui um atalho de teclado (F8) para fazer isso.
A atividade CV Refresh está oculta no pacote e não pode mais ser usada em novos projetos.
Se a configuração Habilitar automação nativa do WebView2 (em Configurações do projeto > UIAutomation Classic > Navegador) estiver definida como True, os seletores da web serão gerados por padrão para atividades de disparo. Como as atividades de gatilho da Automação de Interface Gráfica atualmente não são compatíveis com apps de navegador incorporados, os eventos não são disparados se os seletores gerados padrão (seletores da Web) forem usados. Como solução alternativa, os seletores AA podem ser usados alterando a Estrutura de Interface Gráfica de Padrão para Active Accessibility ao indicar o Elemento de Interface Gráfica de destino. O suporte para aplicativos de navegador incorporados para atividades de gatilho do UIAutomation será adicionado em uma versão futura.
Click
e eventos Mouse released
acionados para os botões do meio e direito quando usados a partir da atividade de monitoramento do Application Event Trigger , da seguinte forma: uma Actions com o botão do meio, sem modificadores, relata um alt
modificador; no entanto, as mesmas Actions executadas com o botão do meio e um modificador alt
relatam corretamente. Uma Actions com o botão direito, sem modificadores, relata um modificador win/meta
; as mesmas Actions executadas com o botão direito e um modificador win/meta
relatam corretamente.
SendWindowMessages
para nativo em WPF.
- Agora, é possível automatizar o Acrobat Reader com a versão mais recente que a 2022.003.20258, mesmo se você tiver a opção Habilitar modo protegido habilitada por padrão. Para obter detalhes, consulte Opção de segurança no Adobe Reader DC.
- A atividade Click falhava em elementos de formulário específicos quando usada com o método de entrada Simular . Agora, é possível usar a opção Habilitar solução alternativa para simular clique com extensão MV3 nas Configurações do Projeto.
- Com alguns sites, a validação do seletor falhava no modo Edge IE. Esse problema ocorria quando uma URL de página da web aberta no modo IE Edge era redirecionada para outra URL comparada com a do Edge Chromium.
- As atividades de automação do navegador falhavam intermitentemente na comunicação com a extensão do Chrome, causando o seguinte erro: "Não é possível se comunicar com o navegador. Verifique a extensão do UiPath." Esse problema ocorria em máquinas mais lentas ou com uma alta carga de CPU. Para superar isso, o tempo limite de comunicação do navegador Chromium foi aumentado para 30 segundos.
- Corrigido um bug que impedia a indicação de elementos de guia na janela Ferramentas de desenvolvedor do Internet Explorer.
- Com o UIAutomation Classic > Navegador > Habilitar a configuração de projeto de automação nativa do WebView2 definida como True, em determinadas páginas do SAP Fiori abertas dentro do cliente SAP Business, os seletores
WND
eCTRL
eram gerados em vez deHTML
eWEBCTRL
. - Corrigido um bug que fazia com que a geração do seletor falhasse para a Área de Trabalho Remota quando o Cliente da Área de Trabalho Remota era publicado como um RemoteApp.
- Corrigido um bug que fazia o UiPath Executor travar ao usar uma atividade Get Visible Text em um aplicativo Java.
- Para as versões 13 a 19 do Java Runtime Environment, indicar uma célula de tabela quando o editor de célula está aberto nessa célula agora retorna um elemento válido, com a função correspondente ao editor (como
text
). Antes, o elemento resultante era inutilizável. - Corrigido um problema que fazia com que a atividade Click Trigger desacelerasse o aplicativo de destino ao abrir uma página da Web no modo Edge IE com o Modo Protegido desativado.
- Corrigido um problema com a Extração da Tabela que impedia a extração de valores de um campo de entrada. Antes da correção, o atributo padrão
text
gerado nos metadados usava a propriedade HTMLinnerText
para recuperar o texto. Iniciando com a v2023.4, os fluxos de trabalho e atividades recém-gerados usamfulltext
como o atributo padrão. Esse novo atributo usa a mesma abordagem que o método de coleta de texto completo. Para usar a propriedadeinnerText
em novas atividades, você pode editar manualmente os metadados e alterar o nome do atributo defulltext
para texto. - Corrigido um bug na Extração de Dados que fazia com que o assistente de Junção de tabela de dados falhasse com a mensagem de erro 'coluna não encontrada' devido ao índice da coluna ser marcado incorretamente como nome da coluna.
- Corrigido um bug que fazia, em alguns casos, a atividade CV Extract Table parar antes do primeiro evento de rolagem ao extrair tabelas roláveis.
- Corrigido um bug para a atividade Click que fazia com que a atividade travasse em um elemento específico quando o modo de entrada estava definido como Simular. Para resolver o problema, a nova propriedade UnblockInput foi adicionada à atividade Click clássica, que deve ser usada quando Click dispara uma caixa de diálogo restrita ou outra interface gráfica bloqueada.
- Corrigido um bug para as atividades Modernas que fazia com que não funcionassem corretamente quando as informações de cultura interpretavam vírgula como separador decimal.
- Corrigido um bug para a atividade Attach Browser que estava gerando um vazamento de memória ao usar uma variável Browser .
- Corrigido um bug para a atividade Find OCR Text Position que fazia com que a atividade encontrasse uma posição incorreta quando o texto incluía um caractere especial, como %.
- Corrigido um bug no Repositório de Objetos que fazia com que o atributo Dados do design não fosse atualizado corretamente ao editar um destino.
- Corrigido um bug para as atividades Type Into, Keyboard Shortcuts e Mouse Scroll, que estavam gerando um aviso inválido indicando
Click Offset is not supported on Simultate Input mode
. - Corrigido um bug na atividade CV Screen Scope que fazia com que o servidor local continuasse retornando caixas de OCR mesmo quando o UiPath Screen OCR era removido do cartão de atividades ou das Configurações do projeto.
- v23.4.11
- Melhorias
- Correções de bugs
- v23.4.10
- Melhorias
- v23.4.9
- Correções de bugs
- v23.4.8
- Correções de bugs
- v23.4.7
- Correções de bugs
- v23.4.6
- Melhorias
- v23.4.5
- Novos recursos e melhorias
- v23.4.4
- Melhorias gerais
- Extensões do navegador
- Automação assistida baseada em gatilho
- Suporte nativo a WPF
- Automação de Interface Gráfica Moderna
- SAP
- Computer Vision
- Problemas conhecidos
- Correções de bugs