Einleitung

AI Computer Vision ist eine auf Machine Learning basierende Methode, die alle UI-Elemente auf einem Computerbildschirm visuell identifiziert und mit ihnen über UiPath Robots interagiert, um eine menschliche Interaktion zu simulieren. Dabei werden nicht die zugrunde liegenden Eigenschaften von Anwendungen benötigt oder verwendet, sondern nur das Aussehen und die Beziehung verschiedener Bildschirmelemente.

Anstatt sich auf Selektoren zu verlassen, nutzt AI Computer Vision KI (Objekterkennung, OCR, Fuzzy Text-Matching, Image-Matching für Symbole) und ein Ankersystem, um alles miteinander zu verknüpfen. Genauer gesagt führt AI Computer Vision zum visuellen Lokalisieren von Elementen auf dem Bildschirm eine Elementerkennung (auf dem Machine-Learning-Server) und eine Texterkennung (OCR) durch und kombiniert diese beiden zu einem vollständigen Verständnis der UI. Die Beziehung zwischen Elementen, die mit diesen beiden Methoden erkannt werden, wird dann in einen Deskriptor mit mehreren Ankern codiert, der das Zielelement eindeutig identifiziert.

AI Computer Vision is composed of a set of activities, that are part of the UI Automation activity package, as well as a server (which can be cloud, on-premises, or local) hosting an AI model, which is needed to perform the actual analysis of the UI you're automating. By default, our UiPath cloud server is used and also recommended for all AI Computer Vision and UI Automation activities. You can use AI Computer Vision cloud regardless of your deployment type. For instance, it does not matter if you have Orchestrator on-premises or Orchestrator cloud, you can run Computer Vision cloud with no special configuration required.

Alternativ können Sie Ihren eigenen lokalen AI Computer Vision-Server hosten und verwalten und zum Ausführen der AI Computer Vision-Aktivitäten verwenden. Wenn Sie diesen Servertyp verwenden, benötigen Sie eine eigene Hardwareinfrastruktur (GPUs) oder Cloud-Umgebung. Außerdem müssen Sie Ihre eigene Umgebung lokal bereitstellen, aktualisieren und warten. Im Vergleich zum UiPath Cloud-Server können Sie auch beim Aktualisieren des KI-Modells Probleme mit der Abwärtskompatibilität haben.

Local server is another flavour you can opt for. It runs on local CPU and it is the most portable version. However, it is slower and has a slightly lower detection accuracy.

Vorteile

Hier sind einige Funktionen von AI Computer Vision, von denen Sie profitieren können:

• Automation beyond selectors - Enable robots to recognize and interact with more on-screen fields and components - even Flash, Silverlight, PDFs, and images.
• Reliable on VDIs and desktops - Relieves issues with failure-prone image automation techniques and with selector-based targeting on desktops. Start by creating automations within Citrix, VWware or Microsoft’s Remote Desktop.
• Broad range of interface types - Includes VDI environments (Citrix, VMWare, Microsoft RDP, VNC, and others) for desktop and web applications. Save your time by getting UI elements identified and added to object repository for you.
• Intelligent, intuitive capabilities - Provides details, validation, and notifications about on-screen selections via an on-screen wizard. Uses the recorder to easily generate full vision-based automations.
• Run-time auto-scroll support - Easily automate scrollable content in webpages or apps using AI Computer Vision activities.
• Cross-platform capabilities - Automate for Windows, Linux, Android and other operating systems through remote desktops.
• Automation between VDI & non-VDI - Simplifies VDI-to-desktop automation by reducing necessary modifications.
• Multiple deployment options - Deploys via SaaS; available on-premises for Linux and Windows, or right from your desktop.
• Dynamic UI elements - Enables automations that include tables, drop-down lists, and checkbox elements. This increases the resilience of your automations, enabling them to adapt to small changes to the UI and interact with these dynamic elements.
• Available in UI Automation as part of Unified Target - Reduces the complexity of building UI-based automations when you need both selectors and AI Computer Vision descriptors.

Bereitstellungsoptionen

For a parallel comparison of our existing AI Computer Vision deployment options, check the AI Computer Vision differences section in the Overview guide.