- 概述
- 要求
- 安装
- 安装后
- 集群管理
- 监控和警示
- 迁移和升级
- 特定于产品的配置
- 最佳实践和维护
- 故障排除
- 无法获取沙盒映像
- Pod 未显示在 ArgoCD 用户界面中
- Redis 探测器失败
- RKE2 服务器无法启动
- 在 UiPath 命名空间中找不到密码
- ArgoCD 在首次安装后进入“进行中”状态
- 意外不一致;手动运行 fsck
- MongoDB Pod 处于 CrashLoopBackOff 状态或在删除后处于“等待 PVC 配置”状态
- MongoDB Pod 从 4.4.4-ent 升级到 5.0.7-ent 失败
- 集群还原或回滚后服务运行状况不佳
- Pod 在 Init:0/X 中卡住
- Prometheus 处于 CrashLoopBackoff 状态,并出现内存不足 (OOM) 错误
- 监控仪表板中缺少 Ceph-rook 指标
- Pod 无法在代理环境中与 FQDN 通信
- 使用 Automation Suite 诊断工具
- 使用 Automation Suite 支持捆绑包
- 探索日志
为防止数据丢失,请确保您使用的基础架构不会在集群重新启动或关闭时自动删除集群磁盘。如果启用了此功能,请确保将其禁用。
Azure 订阅和权限
部署需要访问 Azure 订阅和具有 RBAC 角色所有者的资源组。需要所有者角色才能使用在资源组作用域内分配的参与者角色创建用户分配的托管身份。管理虚拟机(执行缩小和横向扩展操作、应用实例保护、更新操作系统)需要托管身份。
您可以通过以下步骤检查角色分配:
资源组 → 访问控制 (IAM) → 检查访问权限 → 查看我的访问权限
配额
该部署预配了许多Standard_D (通用)、 Standard_F和/或Standard_NC (带 GPU)虚拟机。 Azure 订阅对可为 VM 系列配置的核心数量设置了配额。
转到 Azure 门户中的“使用情况 + 配额”,检查订阅配额。
确保您的配额足够部署 Automation Suite,否则部署将失败。单击“请求增加”以增加。
实例保护
作为安装过程的一部分,我们将规模集操作中的实例保护添加到服务器规模集的所有节点。由于这些操作是从 Azure 执行的,因此无需服务器上下文,因此可以防止集群出现故障。我们为集群管理操作提供 Runbook。有关规模集实例保护的更多信息,请参阅Azure 文档。
实例终止
终止服务器虚拟机实例很可能会导致数据丢失并导致集群崩溃。 不要尝试终止服务器虚拟机实例。
我们为代理虚拟机实例提供实例终止支持。 这意味着,当代理虚拟机实例终止时,我们会从 Automation Suite 集群中封锁、排空和删除该节点。
我们在每个代理虚拟机实例上运行一个脚本,该脚本针对终止事件汇集了实例元数据服务。每当收到事件时,我们都会在相应的节点上触发“cordon”和“drain”命令,并且服务器还会为该特定节点运行“删除节点”命令。
此流程提供扩展日志。 您可以在logs容器的部署主存储帐户下找到每个节点终止操作的日志。 每个日志文件都包含节点的名称,并具有-termination.log后缀。
虚拟机系列区域可用性
确保虚拟机 SKU 在您部署的区域中可用。
您可以在以下位置查看可用性:按区域划分的 Azure 产品。
Cluster certificate configuration
Azure 模板允许您为部署期间指定的自定义域提供证书,这样您就无需在部署后手动执行该操作。 但是,您需要确保在提供.crt证书之前对其进行 Base64 编码。
The following script generates the Base64-encoded strings from a single .pfx certificate (server certificate). You can then use these strings when filling in the template parameters. You can run this bash script on a Windows machine using Windows Subsystem for Linux. It uses openssl to convert the certificates. Keep in mind that the server certificate (the .pfx) should meet somerequirements.
逐个运行以下命令,因为有些命令需要.pfx证书密码:
pfxFile=<path of the pfx file>
# Key
openssl pkcs12 -in $pfxFile -nocerts -out serverCertKeyEncrypted.key
openssl rsa -in serverCertKeyEncrypted.key -out serverCertKeyDecrypted.key
# Server cert
openssl pkcs12 -in $pfxFile -clcerts -nokeys -out serverCert.crt
# CA Bundle:
openssl pkcs12 -in $pfxFile -cacerts -nokeys -chain | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > caBundle.crt
# Converting to base64 and removing newlines
cat serverCertKeyDecrypted.key | base64 | tr -d '\n' > base64CertKey
cat serverCert.crt | base64 | tr -d '\n' > base64Cert
cat caBundle.crt | base64 | tr -d '\n' > base64CABundle
pfxFile=<path of the pfx file>
# Key
openssl pkcs12 -in $pfxFile -nocerts -out serverCertKeyEncrypted.key
openssl rsa -in serverCertKeyEncrypted.key -out serverCertKeyDecrypted.key
# Server cert
openssl pkcs12 -in $pfxFile -clcerts -nokeys -out serverCert.crt
# CA Bundle:
openssl pkcs12 -in $pfxFile -cacerts -nokeys -chain | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > caBundle.crt
# Converting to base64 and removing newlines
cat serverCertKeyDecrypted.key | base64 | tr -d '\n' > base64CertKey
cat serverCert.crt | base64 | tr -d '\n' > base64Cert
cat caBundle.crt | base64 | tr -d '\n' > base64CABundle
External Orchestrator certificates
To connect AI Center to an external Orchestrator, you must set Connect AiCenter to an external Orchestrator to true and provide certificates for Orchestrator and Identity to the parameters listed in Deploying Automation Suite to Azure. For details on how to obtain the certificates, see Chain certificates.
要以 Base64 格式对证书进行编码,请运行以下命令:
cat orchestrator.cer | base64 | tr -d '\n' > orchestratorCert
cat identity.cer | base64 | tr -d '\n' > identityCert
cat orchestrator.cer | base64 | tr -d '\n' > orchestratorCert
cat identity.cer | base64 | tr -d '\n' > identityCert
To register AI Center to the external Orchestrator, you must run the RegisterAiCenterExternalOrchestrator runbook.
多节点 HA 就绪生产集群中的区域故障恢复能力
By default, the templates deploy the VMs across as many Azure Availability Zones as possible to enable the resilience to zonal failures in a multi-node HA-ready production cluster.
Not all Azure Regions support Availability Zones. See Azure Geograpies for details.
VM SKUs have additional Availability Zones restrictions that you can check using the CLI cmdlet. See Get-AzComputeResourceSku for details.
如果服务器分布在三个 Azure 可用性区域,则该集群可应对区域故障。如果 Azure 区域不支持为服务器选择的虚拟机类型的可用性区域,则部署将在没有区域故障恢复能力的情况下继续进行。
Dns
该模板为 Azure 负载均衡器配置公共 IP 和 DNS 标签以访问服务。
DNS 标签归 Microsoft 所有,其格式应类似于:<dnsName>.<regionName>.cloudapp.azure.com。
我们还为集群虚拟机部署了一个私有 DNS 区域,以便能够解析多个子域。这是安装流程中所必需的。要从虚拟网络解析私有 DNS 区域中的记录,请确保将 DNS 服务器设置为 Azure-provided 或 168.63.129.16。
If you want to access the cluster over the internet, you can check out Step 3: Post-deployment steps.
部署到现有虚拟网络中
该模板允许您在现有虚拟网络中部署节点。但是,虚拟网络必须具有满足以下要求的子网:
- 有足够的可用地址空间来容纳所有节点和内部负载均衡器
- 出站连接,最好按照 Microsoft 建议,通过NAT 网关进行配置
- 允许端口
443上的 HTTPS 流量 - 可选: 为
Microsoft.Storage配置了服务端点。 如果您在部署时启用备份,则需要这样做。
部署到现有虚拟网络时,您必须具有所有者 RBAC 角色,才能在其作用域内创建参与者角色分配。 横向扩展时,实例刷新操作需要执行此操作。
备份
该模板允许您在部署时启用备份。这意味着创建一个具有可变存储容量(取决于服务器节点数量 - # of server nodes x 512GiB)的 Microsoft 存储帐户,用作 NFS 共享,并为集群配置备份。备份间隔的设置为 45 分钟。