Ceph の異常によりアップグレードが失敗する

説明

Automation Suite の新しいバージョンにアップグレードしようとすると、「Ceph objectstore is not completely healthy at the moment. Inner exception - Timeout waiting for all PGs to become active+clean (現在、Ceph ObjectStore は完全に正常な状態ではありません。内部エラー - PG がアクティブでクリーンになるのを待機していてタイムアウトになりました)」というエラー メッセージが表示されることがあります。

解決策

このアップグレードの問題を修正するには、次のコマンドを実行して、OSD ポッドが実行中で正常かどうかを確認します。

kubectl -n rook-ceph get pod -l app=rook-ceph-osd  --no-headers | grep -P '([0-9])/\1'  -v

• ポッドが出力されない場合は、次のコマンドを実行して、Ceph 配置グループ (PG) が回復するかどうかを確認します。

  function is_ceph_pg_active_clean() {
    local return_code=1
    if kubectl -n rook-ceph exec  deploy/rook-ceph-tools -- ceph status --format json | jq '. as $root | ($root | .pgmap.num_pgs) as $total_pgs | try ( ($root | .pgmap.pgs_by_state[] | select(.state_name == "active+clean").count)  // 0) as $active_pgs | if $total_pgs == $active_pgs then true else false end' | grep -q 'true';then
      return_code=0
    fi
    [[ $return_code -eq 0 ]] && echo "All Ceph Placement groups(PG) are active+clean"
    if [[ $return_code -ne 0 ]]; then
      echo "All Ceph Placement groups(PG) are not active+clean. Please wait for PGs to become active+clean"
      kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph pg dump --format json | jq -r '.pg_map.pg_stats[] | select(.state!="active+clean") | [.pgid, .state] | @tsv'
    fi
    return "${return_code}"
  }
  # Execute the function multiple times to get updated ceph PG status
  is_ceph_pg_active_clean

  注: 30 分以上待っても、影響を受ける Ceph PG のいずれも回復しない場合は、UiPath® サポートにチケットを提出してください。

• ポッドが出力される場合は、まず、ポッドに影響している問題を修正する必要があります。

  • ポッドが Init:0/4 でスタックしている場合は、PV プロバイダー (Longhorn) の問題である可能性があります。初めてこの問題が発生した場合は、UiPath® サポートにチケットを提出してください。
  • ポッドが CrashLoopBackOff である場合は、次のコマンドを実行して問題を修正します。

    function cleanup_crashing_osd() {
        local restart_operator="false"
        local min_required_healthy_osd=1
        local in_osd
        local up_osd
        local healthy_osd_pod_count
        local crashed_osd_deploy
        local crashed_pvc_name
    
        if ! kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph osd pool ls detail  | grep 'rook-ceph.rgw.buckets.data' | grep -q 'replicated'; then
            min_required_healthy_osd=2
        fi
        in_osd=$(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph status   -f json  | jq -r '.osdmap.num_in_osds')
        up_osd=$(kubectl -n rook-ceph exec deploy/rook-ceph-tools -- ceph status   -f json  | jq -r '.osdmap.num_up_osds')
        healthy_osd_pod_count=$(kubectl -n rook-ceph get pod -l app=rook-ceph-osd | grep 'Running' | grep -c -P '([0-9])/\1')
        if ! [[ $in_osd -ge $min_required_healthy_osd && $up_osd -ge $min_required_healthy_osd && $healthy_osd_pod_count -ge $min_required_healthy_osd ]]; then
            return
        fi
        for crashed_osd_deploy in $(kubectl -n rook-ceph get pod -l app=rook-ceph-osd  | grep 'CrashLoopBackOff' | cut -d'-' -f'1-4') ; do
            if kubectl -n rook-ceph logs "deployment/${crashed_osd_deploy}" | grep -q '/crash/'; then
                echo "Found crashing OSD deployment: '${crashed_osd_deploy}'"
                crashed_pvc_name=$(kubectl -n rook-ceph get deployment "${crashed_osd_deploy}" -o json | jq -r '.metadata.labels["ceph.rook.io/pvc"]')
                info "Removing crashing OSD deployment: '${crashed_osd_deploy}' and PVC: '${crashed_pvc_name}'"
                timeout 60  kubectl -n rook-ceph delete deployment "${crashed_osd_deploy}" || kubectl -n rook-ceph delete deployment "${crashed_osd_deploy}" --force --grace-period=0
                timeout 100 kubectl -n rook-ceph delete pvc "${crashed_pvc_name}" || kubectl -n rook-ceph delete pvc "${crashed_pvc_name}" --force --grace-period=0
                restart_operator="true"
            fi
        done
        if [[ $restart_operator == "true" ]]; then
            kubectl -n rook-ceph rollout restart deployment/rook-ceph-operator
        fi
        return 0
    }
    # Execute the cleanup function
    cleanup_crashing_osd

クラッシュしている OSD を修正した後、次のコマンドを実行して、PG が回復するかどうかを確認します。

is_ceph_pg_active_clean