- 概述
- 要求
- 安装
- 安装后
- 集群管理
- 监控和警示
- 迁移和升级
- 特定于产品的配置
- 最佳实践和维护
- 故障排除
- 无法获取沙盒映像
- Pod 未显示在 ArgoCD 用户界面中
- Redis 探测器失败
- RKE2 服务器无法启动
- 在 UiPath 命名空间中找不到密码
- 初始安装后,ArgoCD 应用程序进入“进行中”状态
- MongoDB Pod 处于 CrashLoopBackOff 状态或在删除后处于“等待 PVC 配置”状态
- 意外错误:不一致;手动运行 fsck
- 集群还原后 MongoDB 或业务应用程序降级
- 缺少 Self-heal-operator 和 Sf-k8-utils 存储库
- 集群还原或回滚后服务不正常
- RabbitMQ Pod 卡在 CrashLoopBackOff 中
- Prometheus 处于 CrashLoopBackoff 状态,并出现内存不足 (OOM) 错误
- 监控仪表板中缺少 Ceph-rook 指标
- Pod 无法在代理环境中与 FQDN 通信
- 使用 Automation Suite 诊断工具
- 使用 Automation Suite 支持捆绑包
- 探索日志
将 Longhorn 物理磁盘迁移到 LVM
此步骤是可选的,但强烈建议在升级 Automation Suite 时执行此步骤。
概述
In the 2021.10.0 release, you needed to bring a physical disk for block storage/datadisk. However, with a physical disk, the size of a volume/PVC that you could create was limited to the size of the underlying disk. Moreover, only vertical scaling was possible. That is why Longhorn strongly recommends using LVM to aggregate all data disks into a single partition. This allows block storage to be easily extended in the future Longhorn | Best Practices.
如果您为 Longhorn 分配了 2TiB 存储空间,并且您的存储要求较低,我们建议您迁移到 LVM。
先决条件
- 您的集群应为多节点 HA 就绪生产集群,即集群应至少包含三个服务器节点。
- 确保在节点轮换时没有任何 AI 系列工作负载(AI Center、DU、TM)正在运行,否则这些工作负载将突然失败。
- 您必须将 Automation Suite 升级到 2021.10.1。
- 在将
cluster_config.json下的集群设置为fixed_rke2_address时,将使用 LB URL,而不是第一台计算机的硬编码 IP 或 FQDN。 - 配置三台将替换原始服务器节点的备用计算机。这些计算机的硬件配置应与现有服务器节点的硬件配置相同。计算机应置于相同的 VPC、子网、网络安全组等,并且附加的磁盘数量和大小也应相同。
- Make sure that all ports are accessible on the machines. See Configuring the machines for details.
- Do not create the disk partitions manually on new machines. Instead, use the disk partitioning script documented in Configuring the disk.
- 确保计算机的主机名相同。例如,如果旧服务器名为
server0、server1和server2,则也为新服务器节点提供相同的主机名。 - 将安装程序文件夹和
cluster_config.json从现有的第一台服务器复制到所有三台新创建的计算机。 - 在继续服务器轮换之前,请从任何现有服务器运行此运行状况检查脚本。脚本不应引发任何错误,并应提示您以下消息:
All Deployments are Healthy。
节点轮换流程
-
服务器节点应逐个轮换。请注意,节点轮换流程不适用于代理节点。
-
关闭旧的
server-N节点,以便正常删除节点上运行的工作负载(N是第 n 个服务器节点;例如server0)。 -
通过运行以下命令从集群中删除服务器:
#where N is the nth server node Ex: server0 kubectl delete node server-N#where N is the nth server node Ex: server0 kubectl delete node server-N -
Remove server-N from the load balancer backend pool, i.e. from both server and node pool. See Configuring the load balancer for details.
-
On the new server-N node, install Kubernetes and configure the new node as a server. See Adding a new node to the cluster for details.
-
Kubernetes 安装成功后,运行
kubectl get nodes并验证新节点确实已加入原始集群。 -
从新添加的节点运行状况检查脚本,以监控集群的运行状况。脚本应显示以下消息:
All Deployments are Healthy。 -
Once the health check script returns success, add the new server node to the server and node pools under the Load Balancer. See Configuring the load balancer for details.
-
对其他服务器节点(即 server1、server2 和 server-N)重复节点轮换过程。
-
轮换完所有服务器节点后,您可以删除处于关闭状态的较旧服务器节点。