Déploiement du serveur

Si vous souhaitez déployer votre propre serveur Computer Vision avec Docker sur Microsoft Windows ou Ubuntu ou avec Podman sur Red Hat Enterprise Linux et l'utiliser avec les activités Computer Vision, suivez les étapes ci-dessous.

Microsoft Windows

Avant de déployer le serveur, vérifiez les prérequis logiciels et matériels.

Installation de WSL

Tout d'abord, WSL doit être installé sur votre machine.

Pour installer WSL, exécutez la commande suivante, où {distribution} est la distribution Linux que vous souhaitez utiliser :

wsl --install -d {distribution}

Remarque : Le système d'exploitation recommandé pour ce processus d'installation est Ubuntu.

Installation des pilotes Nvidia

Pour exécuter le serveur de Computer Vision sur une machine Windows, vous devez télécharger et installer le pilote d'affichage Nvidia Windows 11 sur le système avec une carte GeForce ou Nvidia RTR/Quadro compatible depuis le site officiel de Nvidia.

Important : tout type de pilote d'affichage Linux installé dans WSL peut provoquer des erreurs.

Installation de Docker et de Nvidia Container Toolkit

Vous pouvez installer à la fois Docker et Nvidia Container Toolkit en exécutant le script suivant :

https://github.com/UiPath/Infrastructure/blob/main/ML/ml_prereq_wsl.sh

Exécution du serveur

Pour exécuter le serveur Computer Vision, vous devez exécuter les commandes suivantes dans le terminal WSL Linux :

export CV_URL="LINK_FROM_SALES_REP"
wget "$CV_URL" -O controls_detection.tar
docker load -i controls_detection.tar
docker run -p 8501:5000 --gpus all controls_detection eula=accept

Rendre le serveur disponible sur le réseau

Pour que le serveur soit visible sur le réseau local, une règle de pare-feu doit être créée sous Windows, avec une règle de trafic entrant pour le port sur lequel le serveur Computer Vision est disponible. Par défaut, le port est 8501.

Étant donné que l'instance Linux exécutée dans WSL possède son propre contrôleur d'interface réseau virtuelle, le trafic vers l'adresse IP de l'hôte n'est pas directement redirigé vers l'adresse IP de l'instance Linux. Ce problème peut être contourné en transférant le trafic de l'adresse IP de l'hôte vers l'instance Linux à l'aide de la commande suivante :

netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8501 connectaddress=$wsl_ip connectport=8501

L'IP WSL peut être trouvée avec la commande suivante :

wsl -d {distribution} hostname -I

Remarque : ce problème n'apparaît pas lors de l'utilisation de Docker Desktop sous Windows.

Démarrage automatique du serveur

Lors de l'utilisation du moteur Docker installé directement sur Linux, pour démarrer automatiquement le serveur au démarrage de la machine, une tâche planifiée doit être créée dans Windows. Cette tâche est exécutée au démarrage du système et exécute le script PowerShell suivant, où {distribution} est la distribution Linux installée :

wsl -d {distribution} echo "starting...";
$wsl_ips = (wsl -d {distribution} hostname -I);
$host_ip = $wsl_ips.Split(" ")[0];
netsh interface portproxy add v4tov4 listenport=8501 listenaddress=0.0.0.0 connectport=8501 connectaddress=$host_ip;
wsl -d {distribution} -u root service docker start;
wsl -d {distribution} -u root docker run -p 8501:5000 --gpus all controls_detection eula=accept;

Contraintes d'installation

Ce processus d'installation nécessite une machine qui prend en charge la virtualisation imbriquée. Actuellement, la plupart des VM Cloud ne prennent pas en charge la virtualisation imbriquée pour les machines GPU. En conclusion, ce processus d'installation convient mieux aux clients qui disposent de serveurs Windows physiques avec GPU.

Ubuntu

Avant de déployer le serveur, vérifiez les prérequis logiciels et matériels.

Toutes les commandes répertoriées sur cette page doivent être exécutées dans un terminal sur la machine GPU.

Téléchargement de l'exportation d'image du serveur Computer Vision

Enregistrez le lien qui vous a été fourni par votre représentant commercial dans la session de terminal en cours :

export CV_URL="LINK_FROM_SALES_REP"

Téléchargez l'exportation :

wget "$CV_URL" -O controls_detection.tar

Chargement de l'image dans Docker

Exécutez la commande suivante :

docker load -i controls_detection.tar

Démarrage du serveur

Exécutez la commande suivante :

docker run \
-p 8501:5000 \
--gpus all \
controls_detection eula=accept

Mise à niveau du modèle Computer Vision

La mise à niveau du modèle équivaut à l'installation d'une nouvelle version de celui-ci. En effet, la mise à niveau implique de modifier le modèle lui-même ainsi que ses fichiers binaires, ce qui entraîne inévitablement l'arrêt du serveur.

Si vous souhaitez effectuer la mise à niveau sur la même machine serveur, des temps d'arrêt sont à prévoir. Pour éviter ce scénario, il vous suffit d'installer la nouvelle version sur une autre machine serveur, et une fois l'installation terminée, de basculer le trafic vers celle-ci.

Un scénario de mise à niveau standard ressemble à ceci :

1. Préparez-vous et annoncez les temps d’arrêt (le cas échéant).
2. Installez le nouveau modèle à la place de l'ancien.
3. Exécutez le serveur.

Si votre environnement utilise une configuration d'équilibreur de charge multi-nœuds, vous pouvez éviter complètement les temps d'arrêt en réinstallant chaque nœud, un par un.

Linux RHEL

Avant de déployer le serveur, vérifiez les prérequis logiciels et matériels.

Toutes les commandes répertoriées sur cette page doivent être exécutées dans un terminal sur la machine GPU.

Téléchargement de l'exportation d'image du serveur Computer Vision

Enregistrez le lien qui vous a été fourni par votre représentant commercial dans la session de terminal en cours :

export CV_URL="LINK_FROM_SALES_REP"

Téléchargez l'exportation :

wget "$CV_URL" -O controls_detection.tar

Chargement de l'image dans Podman

Exécutez la commande suivante :

podman load -i controls_detection.tar

Démarrage du serveur

Exécutez la commande suivante :

podman run -p 8501:5000 --hooks-dir=/usr/share/containers/oci/hooks.d/
      \--security-opt=label=disable controls_detection eula=accept

Mise à niveau du modèle Computer Vision

La mise à niveau du modèle équivaut à l'installation d'une nouvelle version de celui-ci. En effet, la mise à niveau implique de modifier le modèle lui-même ainsi que ses fichiers binaires, ce qui entraîne inévitablement l'arrêt du serveur.

Si vous souhaitez effectuer la mise à niveau sur la même machine serveur, des temps d'arrêt sont à prévoir. Pour éviter ce scénario, il vous suffit d'installer la nouvelle version sur une autre machine serveur, et une fois l'installation terminée, de basculer le trafic vers celle-ci.

Un scénario de mise à niveau standard ressemble à ceci :

1. Préparez-vous et annoncez les temps d’arrêt (le cas échéant).
2. Installez le nouveau modèle à la place de l'ancien.
3. Exécutez le serveur.

Si votre environnement utilise une configuration d'équilibreur de charge multi-nœuds, vous pouvez éviter complètement les temps d'arrêt en réinstallant chaque nœud, un par un.