Buscar métodos

Métodos de búsqueda del selector semántico: modos DOM e Imagen para orientar elementos de IU por significado y cuándo utilizar cada uno.

Los selectores semánticos te permiten indicar elementos de la IU en función de su significado, no solo en los atributos del selector tradicional. Describes el elemento con el que deseas interactuar y UiPath utiliza IA para identificar el destino que mejor coincide.

Los selectores semánticos admiten dos métodos de búsqueda:

• DOM (modelo de objeto de documento) : el método de búsqueda predeterminado para aplicaciones web. Utiliza información extraída del DOM de la aplicación.
• Imagen : el método de búsqueda predeterminado para aplicaciones no web. Utiliza la imagen de pantalla visible y las capacidades de conexión a tierra de imagen de los modelos multimodales modernos.

Modo DOM

En el modo DOM, UiPath busca el DOM para encontrar el elemento de destino. Este modo utiliza el extractor DOM de UiPath para recopilar información estructurada sobre la página y luego envía esa información a un modelo lingüístico de gran tamaño (LLM) para que coincida con los elementos de la interfaz de usuario en función de su descripción semántica.

El modo DOM se recomienda cuando el destino puede identificarse a través de la información disponible en el DOM, como:

• texto visible;
• etiquetas;
• roles;
• atributos;
• jerarquía de elementos;
• relaciones estructurales entre elementos.

El modo DOM puede llegar a cualquier elemento disponible en el DOM, incluidos los elementos que están fuera de pantalla. Esto lo hace útil para aplicaciones web en las que el elemento de destino existe en la estructura de la página incluso cuando no es visible en la ventana gráfica.

El modo DOM es menos preciso cuando las características de identificación más importantes son visuales, como una forma, color, estilo o posición visual de icono específicos. El modo DOM tampoco está disponible para aplicaciones no web.

Nota:

La información sobre herramientas del producto resume el modo DOM como: "Busca en el DOM. Llega a cualquier elemento, incluido el fuera de pantalla. Menos preciso en los detalles visuales. No disponible en aplicaciones no web".

Modo de imagen

En el modo Imagen, los selectores semánticos buscan la imagen de la pantalla visible en lugar del DOM. El modo de imagen puede detectar y razonar sobre objetos que son visibles en la pantalla, incluidos iconos, colores, estilos, diseño y relaciones visuales.

Este modo utiliza las capacidades de contextualización de imagen de los últimos modelos multimodales. Estos modelos pueden comprender no solo que un elemento existe, sino también dónde aparece en la pantalla y cómo se ve en relación con la IU que lo rodea.

El modo de imagen es la mejor opción cuando el destino se describe de forma más fiable por su aspecto que por su estructura, por ejemplo:

• un icono con una forma o color específico;
• un botón que es visualmente distinto pero mal descrito en el DOM;
• un mosaico o tarjeta identificada por su color, posición o estilo;
• un icono de advertencia, estado o acción;
• un control en una aplicación no web;
• una pantalla en la que la información DOM está incompleta, es ruidosa o no está disponible.

Por ejemplo, el modo Imagen puede orientar "el mosaico verde de Oportunidades de ventas", "el icono azul junto al campo de búsqueda" o "el icono de advertencia en la esquina superior derecha".

Como el modo Imagen funciona a partir de la imagen de la pantalla, se limita a lo que es visible. Si un elemento está fuera de pantalla, oculto o no se representa visualmente en el momento de la orientación, el modo de imagen no puede identificarlo en la captura de pantalla actual.

Para objetivos fuera de pantalla, una actividad Desplazamiento del ratón con la propiedad A elemento , colocada antes de la acción Selector semántico, trae el elemento a la vista antes de que se ejecute la acción.

Nota:

La información sobre herramientas del producto resume Modo de imagen como: "Busca la imagen de la pantalla. Detecta cualquier objeto en la pantalla, incluidos iconos, colores y estilos. Limitado a lo que es visible".

Relación con Computer Vision

El modo Imagen es la evolución natural de la tecnología Computer Vision de UiPath.

Computer Vision utiliza la detección de objetos basada en IA para identificar los elementos de la interfaz de usuario en la pantalla. Sigue estando disponible en Destino unificado y sigue siendo un método de destino importante. Dado que Computer Vision se basa en un detector de objetos dedicado, es más estable y determinista en escenarios que requieren una detección predecible de elementos visuales.

El modo de imagen se basa en la misma dirección: utilizar la comprensión visual para interactuar con las aplicaciones cuando los selectores tradicionales no son suficientes, pero introduce un enfoque más flexible. Utiliza modelos multimodales modernos que razonan sobre la imagen de pantalla completa y hacen coincidir elementos en función de descripciones en lenguaje natural. La siguiente tabla resume cuándo utilizar cada método:

Método	Úsalo cuando
Computer Vision	Necesitas una detección visual de objetos estable y determinista.
Modo de imagen	Quieres una orientación semántica flexible basada en atributos visuales visibles.
Modo DOM	El elemento puede identificarse de forma fiable a partir de la información del DOM.

Computer Vision sigue formando parte de Unified Target y no se reemplaza por el método de búsqueda de imagen de los selectores semánticos.

Selección de modelo

Los selectores semánticos incluyen un menú desplegable Modelo en Configuración del proyecto > Automatización de IU > Selector semántico que te permite elegir el modelo subyacente utilizado para la orientación semántica para cada método de búsqueda disponible.

Para el modo DOM, hay dos modelos disponibles:

Modelo	Descripción
Gemini 2.5 Flash	Un modelo para la comprensión semántica de la información extraída del DOM. Adecuado cuando el destino puede describirse a través de la información disponible en el DOM.
Path Mini	El modelo rápido y compacto de UiPath, diseñado para un rendimiento sólido a la vez que se optimiza para obtener velocidad y eficiencia. PathMini admite tanto las capacidades de uso del ordenador como la conexión a tierra de imágenes para los selectores semánticos.

Para mayor transparencia, PathMini se basa en un modelo Qwen ajustado.

Para el modo Imagen, los selectores semánticos solo pueden utilizar PathMini, porque admite la conexión a tierra de imágenes y puede razonar sobre la imagen de pantalla visible.

Guía de uso

El modo DOM es la opción predeterminada para las aplicaciones web cuando el destino puede identificarse a través de texto, etiquetas, roles, atributos o estructura disponibles en el DOM. El modo DOM también es útil cuando el destino existe en el DOM pero no es visible en la pantalla.

El modo de imagen es la mejor opción cuando el destino se describe por su aspecto, cuando el color, la forma del icono, el estilo, la posición visual o el diseño circundante son más relevantes que los atributos DOM. El modo de imagen también es útil para aplicaciones no web o cuando el DOM no proporciona suficiente información fiable.

Al utilizar el modo de imagen, el objetivo debe ser visible en la pantalla en el momento de la orientación. Para objetivos fuera de pantalla, una actividad Desplazamiento del ratón con la propiedad A elemento , colocada antes de la acción Selector semántico, trae el elemento a la vista antes de que se ejecute la acción.

Contenido relacionado

Para obtener más información sobre los selectores semánticos, consulta Acerca de los selectores semánticos.