Stockage

Configuration du stockage de blocs, de fichiers et d'objets pour Automation Suite sur OpenShift.

En plus de Microsoft SQL Server, le cluster Automation Suite nécessite un composant de stockage pour stocker les fichiers. Automation Suite nécessite le magasin d'objets et le stockage bloc/fichier, selon le type de service que vous choisissez.

Estimation du stockage pour chaque composant Automation Suite

Services de la plateforme UiPath®

Les services suivants nécessitent le composant de stockage. Ceux-ci ne sont nécessaires que si vous avez choisi de les activer dans le cadre de l'installation d'Automation Suite ou de versions ultérieures.

Service	Type de stockage	Objectif	Estimation
Orchestrator	Magasin d'objets	Packages NuGet (processus, bibliothèques et flux de dossiers) et leurs fichiers de contenu extraits Fichiers de compartiment de stockage, pour les compartiments qui utilisent le fournisseur de stockage Orchestrator (les compartiments d'un fournisseur externe utilisent le propre stockage du client) Supports d'exécution, tels que des captures d'écran du robot et des enregistrements vidéo de tâches ou d'éléments de file d'attente Pièces jointes de tâche et autres données que les robots écrivent dans le stockage système Orchestrator Exportations de données (tâches, files d'attente, journaux et exportations CSV d'audit), qui expirent Archive de rétention des tâches, des éléments de file d’attente et des tâches supprimés, lorsqu’une stratégie de rétention les archive sans compartiment fourni par le client Données sur la persistance des tâches pour les tâches suspendues ou de longue durée Pièces jointes d’exécution de l’automatisation de test, lorsque l’automatisation de test est activée	En règle générale, la taille d'un package est de 5 Mo et les compartiments, le cas échéant, ont une taille inférieure à 1 Mo. Une entreprise expérimentée déploie environ 10 Go de packages. Les packages, les fichiers de compartiments de stockage et les enregistrements vidéo sont généralement les plus gros contributeurs à la croissance de ce magasin.
Action Center	Magasin d'objets	Documents stockés par l'utilisateur dans des tâches de document	En règle générale, un document prend 0,15 Mo, et les formulaires à remplir prennent 0,15 Ko supplémentaire. Dans une entreprise expérimentée, cela peut totaliser 4 Go.
Test Manager	Magasin d'objets	Pièces jointes et captures d'écran stockées par les utilisateurs	En règle générale, tous les fichiers et pièces jointes totalisent environ 5 Go.
Insights	Blockstore	Tableaux de bord publiés et leurs métadonnées	2 Go sont requis pour l'activation, l'empreinte de stockage augmentant avec le nombre. Un déploiement bien établi à l'échelle de l' Enterprisenécessite quelques Go supplémentaires pour tous les tableaux de bord. Environ 10 Go de stockage devraient suffire.
Integration Service	Magasin d'objets	Métadonnées du connecteur Déclencheurs d'évènement	La taille des connecteurs varie, mais l'installation de tous les connecteurs disponibles doit consommer moins de 100 Mo. Le nombre d'événements de déclencheur varie en fonction de l'utilisation, mais 5 Go devraient être suffisants.
Studio Web	Magasin de fichiers	Packages NuGet téléchargés à partir des flux spécifiés (flux officiel UiPath, api.nuget.org) Projets créés ou importés dans Studio Web	Packages NuGet : 220 Go Projets utilisateur : 50 Go
Apps	Magasin de fichiers	Pages d'application, workflows et autres données de projet Pièces jointes téléchargées vers Apps	Environ 5 Go pour les données d'application existantes; environ 15 Mo par application complexe. Espace supplémentaire requis pour les pièces jointes téléchargées par les utilisateurs.
AI Center	Magasin d'objets/Filestore	Paquets ML Ensembles de données pour analyse Pipelines d'entraînement	Une installation standard et établie consommera 8 Go pour cinq packages et 1 Go supplémentaire pour les jeux de données. Un pipeline peut consommer 50 Go supplémentaires de stockage de blocs, mais uniquement lorsqu’il est en cours d’exécution active.
Document Understanding	Magasin d'objets	Modèle ML Modèle OCR Documents enregistrés	Dans un déploiement avancé, 12 Go seront affectés au modèle ML, 17 Go à l'OCR et 50 Go à tous les documents stockés.
Robots Automation Suite	Magasin de fichiers	Mise en cache des packages requis pour exécuter une automatisation	En règle générale, une entreprise expérimentée déploie environ 10 Go de packages.
Process Mining	Magasin d'objets	Fichiers SQL requis pour exécuter des requêtes dans l'entrepôt SQL	L'empreinte minimale est uniquement utilisée pour stocker les fichiers SQL. Environ un Go de stockage devrait suffire au début.
Ancrage dans le contexte	Magasin d'objets, magasin de fichiers	Le magasin d'objets est utilisé pour stocker les données micro front-end Le magasin de fichiers est utilisé comme cache pour traiter les fichiers	La taille du magasin d'objets recommandée est de 50 Go La taille de pvc recommandée est de 1 To
Observabilité LLM	Magasin d'objets	Pour stocker les entrées et les sorties des invites LLM de l’utilisateur	La taille recommandée est de 10 Go
Solutions	Magasin d'objets	Pour stocker les bundles de packages et les fichiers de package de solutions	La taille recommandée est de 200 Go
Maestro	Magasin d'objets	Pour stocker les données et les variables d'exécution de processus	La taille recommandée est de 10 Go
À propos d’Autopilot for Developers	Magasin d'objets	Pour stocker les données de session, les messages de chat et les enregistrements vidéo	La taille recommandée pour le magasin d'objets est de 12 Go (rétention 30 jours)

Magasin d'objets

Automation Suite prend en charge les magasins d'objets suivants :

• Stockage blob Azure
• Stockage AWS S3
• Magasin d'objets compatible S3. OpenShift fournit OpenShift Data Foundation, un magasin d'objets compatible S3 basé sur Ceph. Pour installer OpenShift Data Foundation, consultez la section Introduction à OpenShift Data Foundation.

Configuration de la base de données OpenShift

1. Pour créer un compartiment de magasin d'objets sur OpenShift Data Foundation (ODF), vous devez créer un ObjectBucketClaim pour chaque compartiment, correspondant à chaque produit que vous prévoyez d'installer.

   Important :

   Lors de l'utilisation d'ODF comme magasin d'objets sur des versions de cluster OpenShift antérieures à 4.19, CORS ne peut pas être configuré. Cette limitation peut empêcher les services de fonctionner correctement avec les compartiments ODF. Pour garantir la compatibilité, définissez "disable_presigned_url": true dans votre fichier input.json .

   Si vous rencontrez une erreur lors de l'application de ce paramètre, consultez la section Résolution des problèmes .

L’exemple suivant montre une ObjectBucketClaim valide :

Remarque :

La configuration que nous fournissons dans l'exemple n'est requise que si vous créez les compartiments dans OpenShift Data Foundation.

apiVersion: objectbucket.io/v1alpha1
kind: ObjectBucketClaim
metadata:
  name: BUCKET_NAME
  namespace: <uipath>
spec:
  bucketName: BUCKET_NAME
  storageClassName: openshift-storage.noobaa.io

2. L'application du manifeste crée une clé secrète nommée BUCKET_NAME dans l'espace de noms <uipath> . La clé secrète contient le access_key et le secret_key pour ce compartiment. Pour interroger le access_key et le secret_key, exécutez la commande suivante :

   oc get secret BUCKET_NAME -n <uipath> -o jsonpath={.data.AWS_ACCESS_KEY_ID} | base64 -d; echo
   oc get secret BUCKET_NAME -n <uipath> -o jsonpath={.data.AWS_SECRET_ACCESS_KEY} | base64 -d; echo
   

3. Pour trouver l'hôte ou le nom de domaine complet permettant d'accéder au compartiment, exécutez la commande suivante :

   oc get routes s3 -o jsonpath={.spec.host} -n openshift-storage; echo
   

Important :

ODF inclut un déploiement NooBaa avec des limites de processeur et de mémoire prédéfinies. Ces limites peuvent devenir un goulot d’étranglement pour Automation Suite et entraîner des problèmes de limite de requêtes S3. Pour atténuer ce risque, vous devez configurer ODF avec des limites de processeur et de mémoire plus élevées pour le déploiement NooBAa. Pour de plus amples informations, consultez la section Résolution des problèmes .

Configuration de la politique CORS

En outre, vous devrez peut-être activer la stratégie CORS suivante au niveau du compte/compartiment de stockage si vous rencontrez une erreur liée à CORS lors de la connexion S3 en utilisant le cluster Automation Suite .

Assurez-vous de remplacer {{fqdn}} par le nom de domaine complet du cluster Automation Suite dans la stratégie CORS suivante.

L’exemple suivant montre la stratégie CORS au format JSON :

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "POST",
            "GET",
            "HEAD",
            "DELETE",
            "PUT"
        ],
        "AllowedOrigins": [
            "https://{{fqdn}}"
        ],
        "ExposeHeaders": [
            "etag",
            "x-amz-server-side-encryption",
            "x-amz-request-id",
            "x-amz-id-2"
        ],
        "MaxAgeSeconds": 3000
    }
]

L’exemple suivant montre la stratégie CORS au format XML :

<CORSConfiguration>
 <CORSRule>
   <AllowedOrigin>{{fqdn}}</AllowedOrigin>
   <AllowedMethod>HEAD</AllowedMethod>
   <AllowedMethod>GET</AllowedMethod>
   <AllowedMethod>PUT</AllowedMethod>
   <AllowedMethod>POST</AllowedMethod>
   <AllowedMethod>DELETE</AllowedMethod>
   <AllowedHeader>*</AllowedHeader>
  <MaxAgeSeconds>3000</MaxAgeSeconds>
  <ExposeHeader>x-amz-server-side-encryption</ExposeHeader>
  <ExposeHeader>x-amz-request-id</ExposeHeader>
  <ExposeHeader>x-amz-id-2</ExposeHeader>
  <ExposeHeader>etag</ExposeHeader>
 </CORSRule>
</CORSConfiguration>

Configuration des politiques de cycle de vie

Vous pouvez configurer une stratégie de cycle de vie pour supprimer automatiquement les anciens objets de journal et réduire les tâches de nettoyage manuelles. Les journaux d'Automation Suite sont stockés dans le dossier automation-suite-logs/ du compartiment de la plate-forme. UiPath recommande de conserver ces journaux pendant 15 jours.

OpenShift Data Foundation prend en charge les politiques de cycle de vie S3. L'exemple suivant montre les étapes utilisant la CLI AWS:

1. Créez un fichier nommé lifecycle.json et ajoutez le contenu suivant :

   {
       "Rules": [
           {
               "Filter": {
                   "Prefix": "automation-suite-logs/"
               },
               "Status": "Enabled",
               "Expiration": {
                   "Days": 15
               },
               "ID": "DeleteOldLogs"
           }
       ]
   }
   

2. Exécutez la commande suivante pour appliquer lifecycle.json au compartiment:

   aws --endpoint <MCG_S3_ENDPOINT_URL> s3api put-bucket-lifecycle-configuration \
       --bucket <BUCKET_NAME> \
       --lifecycle-configuration file://lifecycle.json
   

   Remplacez <MCG_S3_ENDPOINT_URL> par l'URL du point de terminaison S3 de la passerelle d'objets Multicloud et <BUCKET_NAME> par le nom de votre compartiment de plate-forme.

Configuration

Pour configurer le magasin d'objets, reportez-vous à Configuration du magasin d'objets externe.

Le programme d'installation d'Automation Suite prend en charge la création de conteneurs/compartiments si vous fournissez les autorisations make . Vous pouvez également enregistrer les conteneurs/compartiments requis avant l'installation, ainsi que leurs informations, dans le programme d'installation.

Exigences de stockage

Stockage	Prérequis
Magasin d'objets	500 Go

La taille du magasin d'objets dépend de la taille de l'automatisation déployée et en cours d'exécution. Par conséquent, il peut être difficile de fournir une estimation précise du magasin d'objets initialement pendant l'installation. Vous pouvez commencer avec une taille de magasin d'objets de 350 Go à 500 Go. Pour comprendre l'utilisation du magasin d'objets, reportez-vous à la section Estimation du stockage pour chaque composant Automation Suite.

Remarque :

• Au fur et à mesure que votre automatisation évolue, vous devrez peut-être tenir compte de l'augmentation de la taille de votre magasin d'objets.
• Si vous utilisez des compartiments créés dans OpenShift Data Foundation, vous devez explicitement enregistrer les compartiments et fournir les détails de chaque produit dans le fichier input.json . Pour plus de détails sur la façon de fournir explicitement des informations de compartiment dans le fichier input.json , reportez-vous à la section Configuration spécifique au produit .

Bloquer le stockage

Le stockage par blocs doit avoir des pilotes CSI configurés avec les classes de stockage Kubernetes.

Le tableau suivant fournit des détails sur le stockage par blocs, la classe de stockage et l'approvisionneur :

Cloud/Kubernetes	Stockage	ClasseStockage	Fournisseur
AWS	Volumes EBS	ebs-sc	ebs.csi.aws.com
Azure	Disque de gestion Azure	managed-premium Disque LRS Premium	disk.csi.azure.com
OuvrirDéplacement	Base de données OpenShift	ocs-storagecluster-ceph-rbd	openshift-storage.rbd.csi.ceph.com

Remarque :

Il n'est pas obligatoire d'utiliser les solutions de stockage mentionnées dans cette section. Si vous utilisez une autre solution de stockage, vous devez utiliser le StorageClass correspondant fourni par votre fournisseur de stockage.

Configuration

Vous pouvez suivre le guide officiel de Red Hat pour créer une classe de stockage dans votre cluster OpenShift.

Vous devez transmettre le nom de la classe de stockage que vous avez créée pour votre cluster au paramètre storage_class dans le fichier input.json .

Remarque :

• Dans OpenShift, les pilotes CSI sont installés automatiquement et la classe de stockage est créée lors de l'installation de OpenShift Data Foundation. Si ces classes de stockage ne sont pas configurées, vous devez les configurer avant l'installation d'Automation Suite.
• Vous devez faire de la classe de stockage pour le stockage de blocs celle par défaut, comme illustré dans l'exemple suivant.

Exemple

L'exemple suivant montre comment configurer la classe de stockage et comment la fournir au fichier input.json lors de l'installation :

Configuration	input.json	StorageClass
Azure	{ "storage_class": "managed_premium" }	allowVolumeExpansion: true apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: creationTimestamp: "2023-06-15T09:34:17Z" labels: addonmanager.kubernetes.io/mode: EnsureExists kubernetes.io/cluster-service: "true" storageclass.kubernetes.io/is-default-class: "true" name: managed-premium parameters: cachingmode: ReadOnly kind: Managed storageaccounttype: Premium_LRS provisioner: disk.csi.azure.com reclaimPolicy: Delete volumeBindingMode: WaitForFirstConsumer
AWS	{ "storage_class": "ebs-sc" }	allowVolumeExpansion: true apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: ebs-sc annotations: storageclass.kubernetes.io/is-default-class: "true" provisioner: ebs.csi.aws.com reclaimPolicy: Delete volumeBindingMode: WaitForFirstConsumer
OuvrirDéplacement	{ "storage_class": "ocs-storagecluster-ceph-rbd" }	kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: ocs-storagecluster-ceph-rbd annotations: description: 'Provides RWO Filesystem volumes, and RWO and RWX Block volumes' storageclass.kubernetes.io/is-default-class: "true" provisioner: openshift-storage.rbd.csi.ceph.com parameters: csi.storage.k8s.io/fstype: ext4 csi.storage.k8s.io/provisioner-secret-namespace: openshift-storage csi.storage.k8s.io/provisioner-secret-name: rook-csi-rbd-provisioner csi.storage.k8s.io/node-stage-secret-name: rook-csi-rbd-node csi.storage.k8s.io/controller-expand-secret-name: rook-csi-rbd-provisioner csi.storage.k8s.io/controller-expand-secret-namespace: openshift-storage pool: ocs-storagecluster-cephblockpool csi.storage.k8s.io/node-stage-secret-namespace: openshift-storage reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: Immediate

Exigences de stockage

Configuration	Prérequis
Bloquer le stockage	50 Go

La taille du magasin de blocs dépend de la taille de l'automatisation déployée et en cours d'exécution. Par conséquent, il peut être difficile de fournir une estimation précise au début de l'installation. Vous pouvez commencer avec une taille de stockage de blocs de 50 Go. Pour comprendre l'utilisation du magasin de blocs, reportez-vous à Estimation du stockage pour chaque composant Automation Suite.

Remarque :

Au fur et à mesure que votre automatisation s'adapte, vous devrez peut-être tenir compte de l'augmentation de la taille de votre stockage de blocs.

Stockage de fichiers

Le stockage de fichiers doit avoir des pilotes CSI configurés avec les classes de stockage Kubernetes.

Le stockage des fichiers est requis pour les composants qui ne nécessitent aucune réplication. Cependant, si vous n'avez pas de système de fichiers, vous pouvez remplacer le stockage des fichiers par un stockage en mode bloc.

Le tableau suivant fournit des détails sur le stockage du fichier, la classe de stockage et l'enregistreur :

Cloud/Kubernetes	Stockage	ClasseStockage	Fournisseur
AWS	EFS	efs-sc	efs.csi.aws.com
Azure	Fichiers Azure	azurefile-csi-premium	file.csi.azure.com
OuvrirDéplacement	Base de données OpenShift	ocs-storagecluster-cephfs*	openshift-storage.cephfs.csi.ceph.com

Il est recommandé de configurer ZRS (ou la réplication) pour le stockage Studio Web afin de garantir la haute disponibilité. Les disques de nœuds de travail doivent avoir au moins 2 300 IOPS et le StorageCluster doit être configuré à l’aide du profil de performance et du profil de référence UGS avec un minimum de 5 000 IOPS.

Remarque :

Il n'est pas obligatoire d'utiliser les solutions de stockage mentionnées dans cette section. Si vous utilisez une autre solution de stockage, vous devez utiliser le StorageClass correspondant fourni par votre fournisseur de stockage.

Configuration

Vous pouvez suivre le guide officiel de Red Hat pour créer une classe de stockage dans votre cluster OpenShift.

Vous devez transmettre le nom de la classe de stockage que vous avez créée pour votre cluster au paramètre storage_class_single_replica dans le fichier input.json .

Remarque :

Dans OpenShift, les pilotes CSI sont installés automatiquement et la classe de stockage est créée lors de l'installation d'OpenShift Data Foundation. Si la classe de stockage n'est pas configurée, vous devez la configurer avant l'installation d'Automation Suite.

Exemple

L'exemple suivant montre comment configurer la classe de stockage et la fournir à input.json lors de l'installation :

Configuration	input.json	StorageClass
Azure	{ "storage_class_single_replica": "azurefile-csi-premium" }	allowVolumeExpansion: true apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: labels: addonmanager.kubernetes.io/mode: EnsureExists kubernetes.io/cluster-service: "true" name: azurefile-csi mountOptions: - mfsymlinks - actimeo=30 - nosharesock - dir_mode=0700 - file_mode=0700 - uid=1000 - gid=1000 - nobrl - cache=none parameters: skuName: Standard_LRS provisioner: file.csi.azure.com reclaimPolicy: Delete volumeBindingMode: Immediate
Azure	{ "storage_class_name_with_rwx_support": "managed-rwx" }	apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: managed-rwx provisioner: file.csi.azure.com reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: WaitForFirstConsumer parameters: storageaccounttype: Standard_LRS enableLargeFileShares: "true"
AWS	{ "storage_class_single_replica": "efs-sc" }	allowVolumeExpansion: true apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: efs-sc parameters: basePath: /dynamic_provisioning directoryPerms: "700" fileSystemId: $(EFS_ID) gidRangeEnd: "2000" gidRangeStart: "1000" provisioningMode: efs-ap provisioner: efs.csi.aws.com reclaimPolicy: Delete volumeBindingMode: Immediate Remplacez $(EFS_ID) par l'ID de partage de fichiers réel que vous avez créé lors de l'enregistrement de l'infrastructure.
AWS	{ "storage_class_name_with_rwx_support": "efs-sc-rwx" }	allowVolumeExpansion: true apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: efs-sc-rwx parameters: basePath: /dynamic_provisioning directoryPerms: "700" fileSystemId: $(EFS_ID) gidRangeEnd: "2000" gidRangeStart: "1000" provisioningMode: efs-ap provisioner: efs.csi.aws.com reclaimPolicy: Delete volumeBindingMode: Immediate Remplacez $(EFS_ID) par l'ID de partage de fichiers réel que vous avez créé lors de l'enregistrement de l'infrastructure.
OuvrirDéplacement	{ "storage_class_single_replica": "ocs-storagecluster-cephfs" }	kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: ocs-storagecluster-cephfs annotations: description: Provides RWO and RWX Filesystem volumes provisioner: openshift-storage.cephfs.csi.ceph.com parameters: clusterID: openshift-storage csi.storage.k8s.io/controller-expand-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/controller-expand-secret-namespace: openshift-storage csi.storage.k8s.io/node-stage-secret-name: rook-csi-cephfs-node csi.storage.k8s.io/node-stage-secret-namespace: openshift-storage csi.storage.k8s.io/provisioner-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/provisioner-secret-namespace: openshift-storage fsName: ocs-storagecluster-cephfilesystem reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: Immediate
OuvrirDéplacement	{ "storage_class_name_with_rwx_support": "ocs-storagecluster-cephfs-rwx" }	kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: ocs-storagecluster-cephfs-rwx annotations: description: Provides RWO and RWX Filesystem volumes provisioner: openshift-storage.cephfs.csi.ceph.com parameters: clusterID: openshift-storage csi.storage.k8s.io/controller-expand-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/controller-expand-secret-namespace: openshift-storage csi.storage.k8s.io/node-stage-secret-name: rook-csi-cephfs-node csi.storage.k8s.io/node-stage-secret-namespace: openshift-storage csi.storage.k8s.io/provisioner-secret-name: rook-csi-cephfs-provisioner csi.storage.k8s.io/provisioner-secret-namespace: openshift-storage fsName: ocs-storagecluster-cephfilesystem reclaimPolicy: Delete allowVolumeExpansion: true volumeBindingMode: Immediate

Remarque :

La classe de stockage du partage de fichiers doit avoir les autorisations requises définies sur 700 pour le répertoire et les fichiers.

En outre, UID et GID doivent être définis sur 1 000 dans Azure, et gidRangeStart et gidRangeEnd sur 1 000 et 2 000, respectivement, dans AWS.

Exigences de stockage

• Stockage du fichier: 510 Go

La taille du magasin de fichiers dépend de la taille de l'automatisation déployée et en cours d'exécution. Par conséquent, il peut être difficile de fournir une estimation réelle initialement, lors de l'installation. Cependant, vous devriez vous attendre à ce qu'une taille de stockage d'environ 510 Go soit suffisante pour exécuter dix pipelines d'entraînement simultané et pour les Robots Automation Suite. Pour comprendre l'utilisation du magasin de fichiers, reportez-vous à Estimation du stockage pour chaque composant Automation Suite.

Remarque :

Au fur et à mesure que votre automatisation évolue, vous devrez peut-être tenir compte d'une augmentation de la taille de votre stockage de fichiers.