- Visão geral
- Automação de Interface Gráfica
- Sobre o pacote de atividades UIAutomation
- Aplicativos e tecnologias automatizados com a Automação de Interface Gráfica
- Compatibilidade do projeto
- UI-ANA-016 - Extrair URL de navegador aberto
- UI-ANA-017 - ContinuarComErro verdadeiro
- UI-ANA-018 - Listar atividades de OCR/Imagem
- UI-DBP-006 - Uso do contêiner
- UI-DBP-013 - Uso Incorreto da Automação do Excel
- UI-DBP-030 - Uso de variáveis proibidas em seletores
- UI-DBP-031 - Verificação de atividades
- UI-PRR-001 - Simular clique
- UI-PRR-002 - Simular Digitação
- UI-PRR-003 - Uso incorreto do aplicativo aberto
- UI-PRR-004 - Atrasos Embutidos em Código
- UI-REL-001 - Idx grande em Seletores
- UI-SEC-004 - Dados de e-mail do seletor
- UI-SEC-010 — restrições de app/URL
- UI-USG-011 - Atributos não permitidos
- UX-SEC-010 — restrições de app/URL
- UX-DBP-029 - Uso de senha não segura
- UI-PST-001 - Nível de log de auditoria nas configurações do projeto
- Ferramenta de Migração de Navegador do UiPath
- Região do Recorte
- Computer Vision Recorder
- Índice de atividades
- Ativar
- Anchor Base
- Anexar Navegador
- Anexar Janela
- Block User Input
- Texto Explicativo
- Marcar
- Click
- Clicar na Imagem
- Click Image Trigger
- Click OCR Text
- Clicar no Texto
- Click Trigger
- Close Application
- Fechar Guia
- Close Window
- Context Aware Anchor
- Copy Selected Text
- Element Attribute Change Trigger
- Element Exists
- Element Scope
- Element State Change Trigger
- Export UI Tree
- Extrair Dados Estruturados
- Find Children
- Localizar Elemento
- Localizar Imagem
- Find Image Matches
- Find OCR Text Position
- Localizar Elemento Relativo
- Find Text Position
- Get Active Window
- Get Ancestor
- Get Attribute
- Get Event Info
- Get From Clipboard
- Obter Texto Completo
- Get OCR Text
- Get Password
- Get Position
- Get Source Element
- Get Text
- Obter Texto Visível
- Voltar
- Avançar
- Ir para a Página Inicial
- Google Cloud Vision OCR
- Hide Window
- Highlight
- Hotkey Trigger
- Hover
- Focalizar Imagem
- Hover OCR Text
- Focalizar Texto
- Imagem Existe
- Indicate On Screen
- Inject .NET Code
- Inject Js Script
- Invoke ActiveX Method
- Key Press Trigger
- Carregar Imagem
- Maximize Window
- Microsoft Azure Computer Vision OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Minimize Window
- Monitorar eventos
- Mouse Trigger
- Move Window
- Navegar Para
- OCR Text Exists
- On Element Appear
- On Element Vanish
- Aparecer Na Imagem
- Desaparecer Na Imagem
- Abrir Aplicativo
- Abrir Navegador
- Atualizar Navegador
- Replay User Event
- Restore Window
- Save Image
- Select Item
- Select Multiple Items
- Enviar Tecla de Acesso
- Set Clipping Region
- Set Focus
- Set Text
- Set To Clipboard
- Set Web Attribute
- Show Window
- Iniciar Processo
- System Trigger
- Take Screenshot
- Tesseract OCR
- Texto Existe
- Dica de ferramenta
- Type Into
- Digitar Texto Seguro
- Use Foreground
- Wait Attribute
- Esperar Elemento Desaparecer
- Aguardar Imagem Desaparecer
- Verificação de acessibilidade
- Application event trigger
- Block User Input
- Check/Uncheck
- Check App State
- Check Element
- Click
- Click Event Trigger
- Drag and Drop
- Extract Table Data
- Localizar elementos
- For Each UI Element
- Get Browser Data
- Obter Área de Transferência
- Get Text
- Get URL
- Go To URL
- Highlight
- Hover
- Inject Js Script
- Keyboard Shortcuts
- Keypress Event Trigger
- Mouse Scroll
- Navigate Browser
- Save Image
- Select Item
- Set Browser Data
- Definir Área de Transferência
- Set CV Server
- Set Runtime Browser
- Set Focus
- Set Project Setting
- Set Text
- Take Screenshot
- Type Into
- Unblock User Input
- Window operation
- Realize pesquisa no navegador e recupere resultados usando APIs de Automação de interface gráfica
- Navegação na Web
- Localizar imagens
- Clicar em imagens
- Disparar e monitorar eventos
- Criar e substituir arquivos
- Páginas HTML: extrair e manipular informações
- Manipulação de janelas
- Seleção automatizada de listas
- Localizar e manipular elementos de janela
- Gerenciar automação de texto
- Carregar e processar imagens
- Gerenciar ações ativadas pelo mouse
- Automatizar o runtime de aplicativos
- Execução automatizada de um aplicativo local
- Navegação em navegador
- Automação da Web
- Exemplo de escopo de disparador
- Habilitar o suporte de Automação de Interface Gráfica no DevExpress
- Computer Vision Local Server
- Automação Móvel
- Notas de versão
- Sobre a arquitetura de automação de dispositivos móveis
- Compatibilidade do projeto
- Get Log Types
- Get Logs
- Get Page Source
- Get Device Orientation
- Get Session Identifier
- Instalar Aplicativo
- Gerenciar Aplicativo Atual
- Manage Other App
- Open DeepLink
- Abrir URL
- Mobile Device Connection
- Deslizar Direcional
- Padrão de Desenho
- Positional Swipe
- Press Hardware Button
- Set Device Orientation
- Take Screenshot
- Obter parte da captura de tela
- Element Exists
- Execute Command
- Get Attribute
- Get Selected Item
- Get Text
- Set Selected Item
- Set Text
- Deslizar
- Tap
- Type Text
- Terminal
- Notas de versão
- Sobre o pacote de atividades Terminal
- Compatibilidade do projeto
- Melhores práticas
- Find Text
- Get Color At Position
- Get Cursor Position
- Get Field
- Obter Campo na Posição
- Obter Área da Tela
- Get Text
- Obter Texto na Posição
- Mover Cursor
- Mover cursor para o texto
- Enviar Tecla de Controle
- Send Keys
- Send Keys Secure
- Set Field
- Definir Campo na Posição
- Terminal Session
- Aguardar Texto do Campo
- Wait Screen Ready
- Aguardar Texto da Tela
- Aguardar Texto na Posição
- APIs de automação codificadas em terminais
Atividades do UIAutomation
As atividades Semântica são projetadas especificamente para trabalhar com formulários, oferecendo um método direto e poderoso para extração e entrada de dados.
Essas atividades permitem que você utilize uma abordagem flexível, enquanto os detalhes complexos são tratados pela nossa IA e componentes internos avançados, como:
- Mecanismo de extração de DOM com IA: extrai todos os elementos de interface gráfica utilizáveis no formulário.
- Mecanismo de correspondência semântica: adiciona resiliência às suas automações ao corresponder semanticamente rótulos de texto, garantindo estabilidade contra alterações de interface gráfica.
- Segmentação semântica e mecanismo de execução: elimina desafios baseados em seletor tradicional, permitindo segmentação e execução perfeitas sem os problemas usuais de complexidade e resiliência relacionados ao uso de seletores.
Esta seção inclui as seguintes atividades:
- Fechar pop-up
- Extract Form Data
- Preencher Formulário
- Atualizar Elemento de Interface Gráfica (anteriormente Set Value)
Suporte a idiomas
Atualmente, apenas o inglês é suportado.Listaremos a disponibilidade de outros idiomas assim que estendermos nosso suporte para incluir mais idiomas.
Consumo de AI Units
Cada atividade semântica consome 0,5 AI Unit por solicitação.
Cada solicitação feita para Extract Form Data, Fill Form e Set Value consome 0,5 AI Units por padrão.
A atividade Close Popup consome 0,5 AI Units por solicitação somente quando o botão de alternância do modo IA avançado estiver habilitado. Nesse caso, cada ação de fechamento por meio de IA consome 0,5 AI Unit. Quando o botão de alternância é desabilitado, a atividade não consome AI Units.
O consumo de AI Unit pode ser monitorado usando o painel de consumo de AI Units no nível do tenant no Insights. Até abril de 2025, a métrica de atividades semânticas será renderizada como Atividades Semânticas (promo) e abrange o número de AI Units que você utiliza, mas não são cobradas.Você pode monitorar esse painel para prever seu consumo de AI Units para atividades semânticas após abril de 2025.
A partir da versão 6 de outubro de 2024 e até abril de 2025, As atividades semânticas estão disponíveis gratuitamente para clientes Community e Enterprise, incluindo aqueles sem AI Units comprados. Esse período promocional visa incentivar a adoção e construir a confiança do cliente na qualidade da funcionalidade. A partir da versão abril de 2025, o consumo de AI Units se aplica conforme descrito, garantindo continuidade e transparência sem interrupções para todos os usuários.
Fechar pop-up
UiPath.UIAutomationNext.Activities.NClosePopup
Description
Ignora todos os pop-ups que estão na parte superior do aplicativo e bloqueiam um destino, usando os botões de fechamento configurados.
Esta atividade pode ser usada dentro e fora de uma atividade Use Application/Browser .
Compatibilidade do projeto
Janelas | Plataforma cruzada
Configuração
- Botões para fechar o pop-up — Os rótulos dos botões usados para fechar o pop-up. No Studio Desktop, os rótulos dos botões Fechar e Cancelar são preenchidos por padrão.
- Modo aprimorado por IA - Aproveita a IA para fechar o pop-up se o botão de alternância estiver definido como Ativado. Cada ação fechada por meio de IA consome uma AI unit. A opção padrão é Desligado.
Opções adicionais
Horários
- Tempo limite de exibição do pop-up — O tempo (em segundos) de espera para que um pop-up apareça. O valor padrão é 30 segundos.
Entrada
- Exceção detectada no pop-up - A exceção gerada ao detectar um pop-up.
Saída
- Pop-up gerenciado - Indique se um pop-up foi gerenciado ou não.
Extract Form Data
UiPath.Semantic.Activities.NExtractFormDataGeneric
Description
Usa IA para extrair perfeitamente dados do formulário.
Ele pode ser facilmente integrado com Entidades de Dados.
Esta atividade precisa ser adicionada a uma atividade Use Application/Browser.
Compatibilidade do projeto
Janelas | Plataforma cruzada
Configuração
- Descobrir campos na tela - A análise DOM que encontra elementos acionáveis com seus rótulos associados.
- Dados do formulário - Onde salvar os dados extraídos do formulário. A saída é um tipo personalizado de dados estruturados.
Opções adicionais
Horários
- Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Tempo limite — especifique a quantidade de tempo (em segundos) para esperar que a atividade seja executada antes de gerar um erro. O valor padrão é 30 segundos.
- Continuar com erro - Especifica se a automação deve continuar mesmo quando a atividade gera um erro. Este campo aceita apenas valores
Boolean(True, False). O valor padrão é False. Como resultado, se o campo estiver em branco e um erro for lançado, a execução do projeto será interrompida. Se o valor for definido como True, a execução do projeto prosseguirá mesmo com erros.
Preencher Formulário
UiPath.Semantic.Activities.NFillForm
Description
Usa IA para preencher perfeitamente o formulário designado com informações extraídas da origem de dados fornecida.
Esta atividade precisa ser adicionada a uma atividade Use Application/Browser.
Compatibilidade do projeto
Janelas | Plataforma cruzada
Configuração
- Fonte de dados - Selecione uma fonte de dados dos seguintes tipos compatíveis:
DocumentData,Dictionary,DataEntity,DataRow,DataTable, arquivo JSON, arquivos de texto não estruturados ou até mesmo tipos personalizados, como aqueles produzidos como saída por a atividade Extract Form Data .Observação:Para
DataTable, apenas os dados na primeira linha são usados para preencher o formulário. Para usarIEnumerablecomo uma Fonte de dados, você precisa adicionar a atividade dentro de uma atividade For Each . - Habilitar validação – Habilita a validação de execução para o valor de runtime se o botão de alternância for definido como Ativado. Uma exceção é gerada se o mecanismo de validação interno detectar um valor inválido após a execução. A opção padrão é Desligado.
Opções adicionais
Horários
- Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Tempo limite — especifique a quantidade de tempo (em segundos) para esperar que a atividade seja executada antes de gerar um erro. O valor padrão é 30 segundos.
- Continuar com erro - Especifica se a automação deve continuar mesmo quando a atividade gera um erro. Este campo aceita apenas valores
Boolean(True, False). O valor padrão é False. Como resultado, se o campo estiver em branco e um erro for lançado, a execução do projeto será interrompida. Se o valor for definido como True, a execução do projeto prosseguirá mesmo com erros.
Atualizar Elemento de Interface Gráfica (anteriormente Set Value)
UiPath.Semantic.Activities.NSetValue
Description
Usa IA para definir um valor em qualquer campo de entrada: caixa de entrada, caixa suspensa, caixa de seleção, botões de rádio, seletor de data.
Ele pode ser usado apenas no Chrome Edge, Firefox e Safari.
Usa a mesma funcionalidade que Preencher formulário, mas no nível do elemento.
Em vez de usar outras atividades para campos de entrada específicos (por exemplo, Type Into para caixas de entrada, Check/Uncheck para caixas de seleção, etc.), você pode usar uma única atividade genérica de Update UI Element . Ele também pode lidar com seletores de datas e grupos de botões de opção.
Esta atividade precisa ser adicionada a uma atividade Use Application/Browser.
Esta atividade é compatível com o Repositório de Objetos.
Compatibilidade do projeto
Janelas | Plataforma cruzada
Configuração
- Indicar destino na tela
- Indica o elemento de interface gráfica a ser usado como destino. Depois de indicar o destino, selecione o botão de adição para acessar as seguintes opções:
- Indicate target on screen - Indicate the target again.
- Editar destino - Abra o modo de seleção para configurar o destino.
- Valor — o valor definido no campo. Este campo aceita apenas variáveis
String.
Se o destino indicado for uma caixa de seleção, esses são os valores aceitos:
- Verdadeiro:
"true","yes","checked","x" - Falso:
"false","no","unchecked"
- Habilitar validação - Habilita a validação de execução para o valor de tempo de execução se o botão de alternância estiver definido como Ativado. Uma exceção é gerada se o mecanismo de validação interno detectar um valor inválido após a execução. A opção padrão é Desligado.
Opções
-
Modo do Healing Agent - configura o comportamento do Healing Agent para esta atividade, com base nas configurações de Governança ou do Orchestrator no nível do processo ou trabalho.
- Desabilitado - Desativa o Healing Agent para essa atividade.
- Herdar configurações do trabalho — aplica as configurações definidas na governança ou no Orchestrator no nível do processo ou trabalho.
- Apenas recomendação — permite que o Healing Agent forneça recomendações sobre como corrigir problemas de automação de interface gráfica na execução de trabalhos, mas somente se permitido pela governança ou pelas configurações do Orchestrator.
- Igual ao Aplicativo/Navegador — herda a configuração da atividade pai Use Application/Browser .
-
Continuar com erro - Especifica se a automação deve continuar mesmo quando a atividade gera um erro. Este campo aceita apenas valores
Boolean(True, False). O valor padrão é False. Como resultado, se o campo estiver em branco e um erro for lançado, a execução do projeto será interrompida. Se o valor for definido como True, a execução do projeto prosseguirá mesmo com erros.
Destino
-
Expandir propriedades de destino - Exibe as propriedades de destino e de âncora. Isso ocultará as outras propriedades da atividade e exibirá apenas aquelas relacionadas ao destino.
-
Recolher propriedades de destino — Oculta propriedades de destino e de âncora. Isso ocultará as propriedades relacionadas ao destino e exibirá as propriedades da atividade.
-
Métodos de segmentação - Os tipos de seletores que você deseja usar para identificar o elemento. Essa propriedade pode ser definida como qualquer combinação no menu suspenso:
- Nenhum
- Seletor restrito - O seletor restrito gerado para o elemento de interface gráfica de destino.
- Seletor difuso - Os parâmetros do seletor difuso.
- Computer Vision - Para usar o Computer Vision como um método de segmentação, você precisa acessar Configurações do projeto > Computer Vision e certificar-se de definir o ponto de extremidade do servidor correto. Você pode deixar esse campo como está e usar o UiPath Cloud, que é preenchido por padrão, ou você pode inserir outro valor selecionando qualquer um dos outros pontos de extremidade públicos específicos de uma região do servidor ou seu próprio servidor no local. Outra maneira de usar o Computer Vision como um método de segmentação é definir Usar Servidor Local como True. Isso indica que o pacote UiPath.ComputerVision.LocalServer está instalado em seu projeto. Quando o Servidor local é habilitado, o valor do servidor é substituído. No entanto, o Servidor local não está disponível em projetos multiplataforma.
- Tipo de controle de CV - Indica o tipo de controle identificado usando o Computer Vision.
- CV Text - Indica o texto identificado usando o Computer Vision.
- Ocorrência de CV Text - Indica uma ocorrência específica a ser usada quando várias correspondências são encontradas.
- Precisão do texto CV - Indica o nível de precisão para correspondência de texto OCR.
- Seletor semântico – Aproveita modelos de linguagem grande (LLMs) para gerar descrições funcionais e semelhantes às humanas de elementos de interface gráfica. Essas descrições são altamente confiáveis, tornando-as adaptáveis a alterações de interface gráfica e melhorando significativamente a resiliência da automação quando os seletores tradicionais falham.
- Imagem (apenas Windows)
- Precisão da imagem - Indica o nível de precisão para correspondência de imagens.
- Ocorrência de imagem - Indica uma ocorrência específica a ser usada, quando várias correspondências são encontradas.
- Texto nativo (apenas Windows)
- Texto nativo - O texto a ser encontrado para identificar o elemento de interface gráfica.
- Ocorrência de texto nativa - Indica uma ocorrência específica a ser usada quando várias correspondências forem encontradas.
-
Seletor de janela (Instância do aplicativo) — Seletor da janela do aplicativo. Aplicável somente quando modo de anexação de janela estiver definido como instância do aplicativo.
-
Aguardar carregamento da página — antes de executar a ação, aguarda o aplicativo ficar pronto para aceitar a entrada. As opções são:
- Nenhum - Não aguarda que o destino esteja pronto.
- Interativo - Aguarda até que apenas uma parte do aplicativo seja carregada.
- Completo - Aguarda até que todo o aplicativo seja carregado.
-
Verificação de visibilidade - Ao habilitada, a atividade também verifica se o elemento de interface gráfica está visível ou não. Você pode escolher uma das três opções no menu suspenso:
- Nenhum - Não verifica a visibilidade.
- Interativo (para Seletor difuso) - Opção padrão. Verifica se o elemento é potencialmente visível, ignorando a rolagem de página e obstruções por outros aplicativos ou o fato de o aplicativo estar minimizado. Essa verificação é útil ao tentar garantir que você não esteja visando elementos invisíveis que existem no DOM, mas que estão ocultos.
- Totalmente visível - Verifica se o elemento de interface gráfica está visível ou não.
-
Sites responsivos - Habilitar o layout de sites responsivos.
Horários
- Delay before - Delay (in seconds) between the time the previous activity is completed and the time this activity begins performing any operations. The default value is 0.2 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Delay after - Delay (in seconds) between the time this activity is completed and the time the next activity begins any operations. The default value is 0.3 seconds. Adding a delay between activities ensures that one activity has enough time to complete before the next activity begins.
- Tempo limite — especifique a quantidade de tempo (em segundos) para esperar que a atividade seja executada antes de gerar um erro. O valor padrão é 30 segundos.
- Suporte a idiomas
- Consumo de AI Units
- Fechar pop-up
- Description
- Compatibilidade do projeto
- Configuração
- Extract Form Data
- Description
- Compatibilidade do projeto
- Configuração
- Preencher Formulário
- Description
- Compatibilidade do projeto
- Configuração
- Atualizar Elemento de Interface Gráfica (anteriormente Set Value)
- Description
- Compatibilidade do projeto
- Configuração