Bereitstellen des Servers

Wenn Sie Ihren eigenen Computer Vision-Server mit Docker unter Microsoft Windows oder Ubuntu oder mit Podman unter Red Hat Enterprise Linux bereitstellen und mit Computer Vision-Aktivitäten verwenden möchten, führen Sie die folgenden Schritte aus.

Microsoft Windows

Überprüfen Sie vor der Bereitstellung des Servers die Software- und Hardware-Anforderungen.

Installieren von WSL

Zuerst muss WSL auf Ihrer Maschine installiert werden.

Führen Sie den folgenden Befehl aus, um WSL zu installieren, wobei {distribution} die Linux-Distribution ist, die Sie verwenden möchten:

wsl --install -d {distribution}

Hinweis: Das empfohlene Betriebssystem für diesen Installationsvorgang ist Ubuntu.

Installieren von Nvidia-Treibern

Um den Computer Vision-Server auf einer Windows-Maschine auszuführen, müssen Sie den Nvidia Windows 11-Anzeigetreiber mit einer kompatiblen Geforce- oder Nvidia RTX-/quadro-Karte von der offiziellen Nvidia-Website herunterladen und installieren.

Wichtig: Jede Art von Linux-Anzeigetreiber, der in WSL installiert ist, kann Fehler verursachen.

Installieren von Podman und Nvidia Container Toolkit

Sie können sowohl Podman als auch das Nvidia Container Toolkit installieren, indem Sie das folgende Skript ausführen:

https://github.com/UiPath/Infrastructure/blob/main/ML/ml_prereq_all.sh

Ausführen des Servers

Um den Computer Vision-Server auszuführen, müssen Sie die folgenden Befehle im WSL-Linux-Terminal ausführen:

podman run -p 8501:5000 --hooks-dir=/usr/share/containers/oci/hooks.d/ \--security-opt=label=disable --device=nvidia.com/gpu=all controls_detection eula=accept

Bereitstellen des Servers im Netzwerk

Damit der Server im lokalen Netzwerk sichtbar ist, muss unter Windows eine Firewallregel mit einer eingehenden Regel für den Port erstellt werden, an dem der Computer Vision-Server verfügbar ist. Standardmäßig ist der Port 8501.

Da die in WSL ausgeführte Linux-Instanz über einen eigenen virtuellen Netzwerkschnittstellen-Controller verfügt, wird der Datenverkehr zur Host-IP nicht direkt an die IP der Linux-Instanz umgeleitet. Dieses Problem kann umgangen werden, indem der Datenverkehr der Host-IP mit dem folgenden Befehl an die Linux-Instanz weitergeleitet wird:

netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8501 connectaddress=$wsl_ip connectport=8501

Die WSL-IP kann mit dem folgenden Befehl gefunden werden:

wsl -d {distribution} hostname -I

Hinweis: Dieses Problem tritt nicht auf, wenn Docker Desktop unter Windows verwendet wird.

Automatisches Starten des Servers

Wenn Sie die Docker Engine verwenden, die direkt unter Linux installiert ist, muss in Windows eine geplante Aufgabe erstellt werden, um den Server beim Booten der Maschine automatisch zu starten. Diese Aufgabe wird beim Systemstart ausgeführt und führt das folgende PowerShell-Skript aus, wobei {distribution} die installierte Linux-Distribution ist:

wsl -d {distribution} echo "starting...";
$wsl_ips = (wsl -d {distribution} hostname -I);
$host_ip = $wsl_ips.Split(" ")[0];
netsh interface portproxy add v4tov4 listenport=8501 listenaddress=0.0.0.0 connectport=8501 connectaddress=$host_ip;
wsl -d {distribution} -u root service docker start;
wsl -d {distribution} -u root docker run -p 8501:5000 --gpus all controls_detection eula=accept;

Einschränkungen bei der Installation

Dieser Installationsprozess erfordert eine Maschine, die verschachtelte Virtualisierung unterstützt. Derzeit unterstützen die meisten Cloud-VMs keine verschachtelte Virtualisierung für GPU-Maschinen. Zusammenfassend ist dieser Installationsprozess am besten für Kunden geeignet, die über physische Windows-Server mit GPUs verfügen.

Linux RHEL/Ubuntu

Überprüfen Sie vor der Bereitstellung des Servers die Software- und Hardware-Anforderungen.

Alle auf dieser Seite aufgeführten Befehle sollten in einem Terminal auf der GPU-Maschine ausgeführt werden.

Herunterladen des Bildexports für den Computer Vision-Server

Speichern Sie den Link, den Sie von Ihrem Vertriebsmitarbeiter erhalten haben, in der aktuellen Terminalsitzung:

export CV_URL="LINK_FROM_SALES_REP"

Laden Sie den Export herunter:

wget "$CV_URL" -O controls_detection.tar

Laden des Bilds in Podman

Führen Sie den folgenden Befehl aus:

podman load -i controls_detection.tar

Starten des Servers

Führen Sie den folgenden Befehl aus:

podman run -p 8501:5000 --hooks-dir=/usr/share/containers/oci/hooks.d/ \--security-opt=label=disable --device=nvidia.com/gpu=all controls_detection eula=accept

Aktualisieren des Computer Vision-Modells

Das Aktualisieren des Modells entspricht dem Installieren einer neuen Version davon. Ein Upgrade bedeutet nämlich, dass das Modell selbst und auch seine Binärdateien geändert werden, wodurch der Server zwangsläufig nicht mehr funktioniert.

Wenn Sie das Upgrade auf genau derselben Servermaschine durchführen möchten, ist mit Ausfallzeiten zu rechnen. Um dieses Szenario zu vermeiden, können Sie die neue Version einfach auf einer anderen Servermaschine installieren und nach Abschluss der Installation den Datenverkehr darauf umleiten.

Ein Standard-Upgrade-Szenario sieht wie folgt aus:

1. Bereiten Sie sich auf Ausfallzeiten vor und kündigen Sie diese an (falls zutreffend).
2. Installieren Sie das neue Modell anstelle des alten.
3. Führen Sie den Server aus.

Wenn Ihre Umgebung ein Load Balancer-Setup mit mehreren Knoten verwendet, können Sie Ausfallzeiten vollständig vermeiden, indem Sie jeden Knoten einzeln neu installieren.