Manuel : migration d’un pool de données Ceph du type répliqué vers le type codé à effacement (Erasure-coded)

Étape 1 : sélection d'un chemin pour les objets Ceph

Vous devez sélectionner un chemin d'accès au système de fichiers disposant d'un espace de stockage disponible pour contenir les objets Ceph. Par exemple, supposons que vous décidiez d'utiliser le chemin d'accès /ceph-data sur le nœud Kubernetes server0 .

Important : vous devez aligner l'outil Ceph pour utiliser ce chemin d'hôte, et toutes les commandes suivantes doivent être exécutées sur la même machine (dans ce cas, server0).

export ROOK_CEPH_EXPORT_PATH="/ceph-data"

Pour afficher l'espace de stockage utilisé par les objets dans le cluster Ceph, exécutez la commande suivante :

ceph_objects_bytes=$(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph status --format json | jq -r '.pgmap.data_bytes')
numfmt --to=iec-i $ceph_objects_bytes

Étape 2 : Préparation des outils Ceph pour utiliser le chemin

Pour préparer les outils Ceph à utiliser le chemin sélectionné à l'étape 1, procédez comme suit :

1. Désactiver l'autoréparation pour rook-ceph-object-store :

   kubectl -n argocd patch application rook-ceph-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl -n argocd patch application rook-ceph-object-store --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'
   kubectl -n argocd patch application fabric-installer --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":false}]'

2. Modifier le déploiement des outils Ceph pour monter ${ROOK_CEPH_EXPORT_PATH} sur le nœud kubernetes : server0

   kubectl -n rook-ceph patch deploy rook-ceph-tools --type='json' -p='[{"op": "add", "path":"/spec/template/spec/nodeName", "value": "server0"},{"op": "add", "path":"/spec/template/spec/volumes/2", "value": {"name":"ceph-export", "hostPath": {"path": "'${ROOK_CEPH_EXPORT_PATH}'", "type":"Directory"}  }}, {"op":"add", "path": "/spec/template/spec/containers/0/volumeMounts/2", "value": {"name": "ceph-export", "mountPath": "'${ROOK_CEPH_EXPORT_PATH}'"}},{"op": "remove", "path": "/spec/template/spec/containers/0/resources/limits"}]'
   kubectl -n rook-ceph rollout status deploy rook-ceph-tools

3. Autoriser les pods d'outils à écrire à l'intérieur de ${ROOK_CEPH_EXPORT_PATH}

   chmod 777 ${ROOK_CEPH_EXPORT_PATH}

Étape 3 : bloquer l'accès à l'espace de noms rook-ceph à partir d'autres espaces de noms

1. Bloquer le trafic venant de l'espace de noms rook-ceph à partir de tout autre espace de noms à l'exception de l'espace de noms rook-ceph :

   kubectl apply -f - <<EOF
   kind: NetworkPolicy
   apiVersion: networking.k8s.io/v1
   metadata:
     namespace: rook-ceph
     name: block-rook-ceph-from-other-ns
   spec:
     podSelector:
       matchLabels:
     ingress:
     - from:
       - podSelector: {}
   EOF

2. Redémarrez le déploiement de RGW pour fermer les connexions déjà établies à partir d'autres espaces de noms :

   for rgw_deploy in $(kubectl -n rook-ceph get deploy -l app=rook-ceph-rgw  -o name);do
       kubectl -n rook-ceph rollout restart "${rgw_deploy}"
       kubectl -n rook-ceph rollout status "${rgw_deploy}"
   done

Étape 4 : Affichage du nombre d'objets de cluster

Pour afficher le nombre d'objets de cluster, exécutez la commande suivante :

BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT=$(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- rados df --format json | jq -r --arg poolName "rook-ceph.rgw.buckets.data" '.pools[] | select(.name==$poolName).num_objects')
echo "BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT=${BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT}"

Il est recommandé de revérifier le nombre d'objets après la migration pour s'assurer qu'aucune perte de données ne s'est produite.

Étape 5 : Exportation du pool de données Ceph

Pour exporter le pool de données Ceph, exécutez la commande suivante :

nohup kubectl -n rook-ceph exec deploy/rook-ceph-tools -- rados -p 'rook-ceph.rgw.buckets.data' export --workers 5   ${ROOK_CEPH_EXPORT_PATH}/ceph-data-pool >> /tmp/ceph-data-pool-export.log 2>&1 & 
wait $!
if [[ $? -eq 0 && -f ${ROOK_CEPH_EXPORT_PATH}/ceph-data-pool ]]; then
  echo "Export ran successfully"
else
 echo "Error while running export"
fi

Étape 6 : réduction de l'opérateur rook-ceph

Pour réduire l'opérateur rook-ceph , exécutez la commande suivante :

kubectl -n rook-ceph scale --replicas=0 deployment/rook-ceph-operator

Étape 7 : recréation du pool codé à effacer

Pour recréer le pool codé par effacement, exécutez la commande suivante :

kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd pool rm rook-ceph.rgw.buckets.data rook-ceph.rgw.buckets.data --yes-i-really-really-mean-it --yes-i-really-really-mean-it-not-faking
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd crush rule rm rook-ceph.rgw.buckets.data
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd erasure-code-profile set rook-ceph_ecprofile k=2 m=1  crush-failure-domain=host
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd pool create rook-ceph.rgw.buckets.data erasure rook-ceph_ecprofile
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd pool set rook-ceph.rgw.buckets.data compression_mode none
kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd pool application enable rook-ceph.rgw.buckets.data rook-ceph-rgw  --yes-i-really-mean-it

Étape 8 : Importation de données dans le pool de données

Pour importer les données dans le pool de données, exécutez la commande suivante :

nohup kubectl -n rook-ceph exec deploy/rook-ceph-tools -- rados -p 'rook-ceph.rgw.buckets.data'  import --workers 5   ${ROOK_CEPH_EXPORT_PATH}/ceph-data-pool >> /tmp/ceph-data-pool-import.log 2>&1 & 
wait $!
if [[ $? -eq 0 ]]; then
  echo "Import ran successfully"
else
 echo "Error while running import"
fi

Étape 9 : Vérification des données chargées

Pour vérifier les données chargées, exécutez la commande suivante :

try=120
return_code=1
for index in $(seq 0 "${try}"); do
  AFTER_MIGRATION_DATA_POOL_OBJECT_COUNT=$(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- rados df --format json | jq -r --arg poolName "rook-ceph.rgw.buckets.data" '.pools[] | select(.name==$poolName).num_objects')
  if [[ $AFTER_MIGRATION_DATA_POOL_OBJECT_COUNT -eq $BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT ]]; then
    return_code=0
    break
  fi
  [[ $index -eq $try ]] || sleep 5
done
if [[ $return_code -eq 0 ]]; then
  echo "Found equal object count(${BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT})"
else
  echo "Found difference in object count for pool before(${BEFORE_MIGRATION_DATA_POOL_OBJECT_COUNT}) and after(${AFTER_MIGRATION_DATA_POOL_OBJECT_COUNT})"
  echo "Please raise a support ticket with uipath to complete the migration"
fi

Étape 10 : Annulation des modifications temporaires

Pour annuler les modifications temporaires, exécutez la commande suivante :

kubectl -n argocd patch application rook-ceph-operator --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
kubectl -n argocd patch application rook-ceph-object-store --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
kubectl -n argocd patch application fabric-installer --type=json -p '[{"op":"replace","path":"/spec/syncPolicy/automated/selfHeal","value":true}]'
kubectl -n rook-ceph scale --replicas=1 deployment/rook-ceph-operator
kubectl -n rook-ceph patch deploy rook-ceph-tools --type='json' -p='[{"op": "remove", "path":"/spec/template/spec/nodeName"},{"op": "remove", "path":"/spec/template/spec/volumes/2"}, {"op":"remove", "path": "/spec/template/spec/containers/0/volumeMounts/2"},{"op": "add", "path": "/spec/template/spec/containers/0/resources/limits", "value": {"memory": "256Mi"}}]'
kubectl -n rook-ceph delete NetworkPolicy block-rook-ceph-from-other-ns

Étape 11 : Mise à jour de la configuration d'ArgoCD

Vous devez maintenant vous assurer de synchroniser la configuration et l’état réel. Pour ce faire, mettez à jour la configuration d'ArgoCD en exécutant la commande suivante :

kubectl  -n argocd get application  fabric-installer -o json | jq 'if ([.spec.source.helm.parameters[].name] | index ("global.rook.dataPoolType")) == null then .spec.source.helm.parameters +=  [{"name": "global.rook.dataPoolType" , "value": "erasure-coded"}] else (.spec.source.helm.parameters[] | select(.name == "global.rook.dataPoolType").value) |= "erasure-coded" end'  | kubectl apply  -f -