Alertas de recursos do Kubernetes

Definições de alerta e soluções para problemas de recursos do Kubernetes no monitoramento do Automation Suite.

k8s.rules, kube-apiserver-availability.rules, kube-apiserver-slos

KubeAPIErrorBudgetBurn

O servidor da API do Kubernetes está usando muita reserva de erros.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

O coletor de métricas de estado do Kube não consegue coletar métricas do cluster sem erros. Isso significa que alertas importantes podem não disparar. Entre em contato com o Suporte da UiPath®.

Consulte também: Métricas de estado do Kube no lançamento.

KubernetesMemoryPressure

Esse alerta indica que o uso de memória está muito alto no nó do Kubernetes.

Os nós do Kubernetes com tipo de incidente MemoryPressure ocorrem quando um nó do cluster do Kubernetes está com pouca memória, o que pode ser causado por um vazamento de memória em um aplicativo. Esse tipo de incidente requer atenção imediata para evitar tempo de inatividade e garantir o funcionamento adequado do cluster do Kubernetes.

Se esse alerta for disparado, tente identificar o pod no nó que está consumindo mais memória, seguindo estas etapas:

1. Recupere as estatísticas de CPU e memória dos nós:

   kubectl top node
   

2. Recupere os pods em execução no nó:

   kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=${NODE_NAME}
   

3. Verifique o uso de memória para pods em um namespace usando:

   kubectl top pod --namespace <namespace>
   kubectl logs -f <pod-name> -n <ns>
   

Se você conseguir identificar qualquer pod com alto uso de memória, verifique os logs do pod e procure erros de vazamento de memória.

Para resolver o problema, aumente a especificação de memória para os nós, se possível.

Se o problema persistir, gere o pacote de suporte e entre em contato com o Suporte da UiPath®.

kubernetes-apps

KubePodCrashLooping

Um pod que continua reiniciando inesperadamente. Isso pode acontecer devido a um erro de memória insuficiente (OOM na sigla em inglês), caso em que os limites podem ser ajustados. Verifique os eventos do pod com kubectl describe, e os logs com kubectl logs para conferir detalhes sobre possíveis falhas. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubePodNotReady

Um pod foi iniciado, mas não está respondendo à investigação de integridade com sucesso. Isso pode significar que ele está travado e não é capaz de atender ao tráfego. Você pode verificar os logs do pod com kubectl logs para conferir se há alguma indicação de progresso. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Houve uma tentativa de atualização para uma implantação ou statefulset, mas falhou e ainda não ocorreu uma reversão. Entre em contato com o Suporte da UiPath®.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

Em clusters de alta disponibilidade com várias réplicas, esse alerta é acionado quando a quantidade de réplicas não é a ideal. Isso pode ocorrer quando não há recursos suficientes no cluster para agendar. Verifique a utilização de recursos e adicione capacidade conforme necessário. Caso contrário, entre em contato com o Suporte da UiPath®.

KubeStatefulSetUpdateNotRolledOut

Uma atualização para uma statefulset falhou. Entre em contato com o Suporte da UiPath®.

Consulte também: StatefulSets.

KubeDaemonSetRolloutStuck

A implementação do Daemonset falhou. Entre em contato com o Suporte da UiPath®.

Consulte também: DaemonSet.

KubeContainerWaiting

Um contêiner está travado no estado de espera. Ele foi agendado para um nó de trabalho, mas não pode ser executado naquela máquina. Confira kubectl describe do pod para obter mais informações. A causa mais comum de contêineres em espera é uma falha no pull da imagem. Para clusters isolados, isso pode significar que o registro local não está disponível. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Isso pode indicar um problema com um dos nós. Verifique a integridade de cada nó e corrija os problemas conhecidos. Caso contrário, entre em contato com o Suporte da UiPath®.

KubeJobCompletion

Um trabalho leva mais de 12 horas para ser concluído. Isso não é esperado. Entre em contato com o Suporte da UiPath®.

KubeJobFailed

Um trabalho falhou; no entanto, a maioria dos trabalhos é repetida automaticamente. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeJobNãoConcluído

Um Trabalho do Kubernetes está demorando mais do que o esperado para ser concluído. Isso pode indicar restrições de recursos, contêineres presos ou um prazo de trabalho mal configurado. Verifique o trabalho e seu status de pod com kubectl describe job e kubectl get pods. Se o problema persistir, entre em contato com o Suporte da UiPath®.

monitoramento-oom-alerts

KubeContainerOOMEncerrado

Um contêiner foi encerrado pelo gerenciamento de falta de memória do kernel (OOM) porque excedeu seu limite de memória. Este alerta é acionado imediatamente quando um contêiner reinicia e seu último motivo de encerramento é OOMKilled. Revise o uso de memória do contêiner e aumente seu limite de memória ou investigue o aplicativo para vazamentos de memória usando kubectl logs e kubectl describe pod. Se o problema persistir, entre em contato com o Suporte da UiPath®.

Alto Uso de Memória do Contêiner

Um contêiner está usando mais de 90% do seu limite de memória configurado por mais de 15 minutos. Este é um aviso antecipado de que pode ocorrer um encerramento de OOM se o uso de memória continuar a aumentar. Monitore a tendência de memória do contêiner usando kubectl top pod e considere aumentar o limite de memória de forma proativa. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeHpaReplicasMismatch

O escalonador automático não pode escalonar o recurso em questão conforme configurado. Se o desejado for maior que o real, pode haver falta de recursos. Se o desejado for menor que o real, os pods podem estar travados durante o desligamento. Se o problema persistir, entre em contato com o Suporte da UiPath®.

Consulte também: Escalonamento horizontal automático de pod

KubeHpaMaxedOut

O número de réplicas de um determinado serviço atingiu o máximo. Isso acontece quando a quantidade de solicitações feitas ao cluster é muito alta. Se o tráfego alto for esperado e temporário, você pode silenciar este alerta.

No entanto, esse alerta é um sinal de que o cluster está no limite de sua capacidade e não pode lidar com muito mais tráfego. Se mais capacidade de recursos estiver disponível no cluster, você pode aumentar o número de réplicas máximas para o serviço seguindo estas instruções:

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

Consulte também: Dimensionamento automático de pod horizontal.

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Esses avisos indicam que o cluster não consegue tolerar falhas de nó. Para clusters de avaliação de nó único, isso é conhecido e esses alertas podem ser silenciados. Para configurações de produção prontas para alta disponibilidade de vários nós, esses alertas são acionados quando muitos nós se tornam não íntegros para dar suporte à alta disponibilidade, e indicam que os nós devem ser restaurados ou substituídos.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Esses alertas pertencem a cotas de recursos de namespace que só existem no cluster se adicionados por meio de personalização. As cotas de recursos de namespace não são adicionadas como parte da instalação do Automation Suite.

Consulte também: Cotas de recursos.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Indica problemas com o plano de controle do Kubernetes. Verifique a integridade dos nós principais, resolva os problemas pendentes e entre em contato com o Suporte da UiPath® se os problemas persistirem.

Consulte também:

API do Kubernetes

Camada de agregação da API do Kubernetes

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

Esses alertas indicam um problema com um nó. Em clusters de produção prontos para alta disponibilidade de vários nós, os pods provavelmente seriam reprogramados para outros nós. Se o problema persistir, você deverá remover e drenar o nó para manter a integridade do cluster. Em clusters sem capacidade adicional, é necessário primeiro associar outro nó ao cluster.

Se os problemas persistirem, entre em contato com o Suporte da UiPath®.

KubeletTooManyPods

Há muitos pods em execução no nó especificado.

Unir outro nó ao cluster.

kubernetes-system

KubeVersionMismatch

Existem versões semânticas diferentes de componentes do Kubernetes em execução. Isso pode acontecer como resultado de uma falha de upgrade do Kubernetes.

KubeClientErrors

O cliente do servidor da API do Kubernetes está apresentando mais de 1% de erros. Pode haver um problema com o nó em que este cliente está sendo executado ou com o próprio servidor da API do Kubernetes.

Alertas etdc

EtcdInsufficientMembers

Este alerta indica que o cluster etcd possui um número insuficiente de membros. Observe que o cluster deve ter um número ímpar de membros. A gravidade desse alerta é crítica.

Certifique-se de que haja um número ímpar de nós de servidor no cluster e que todos estejam ativos e íntegros.

EtcdNoLeader

Este alerta mostra que o cluster etcd não tem líder. A gravidade desse alerta é crítica.

EtcdHighNumberOfLeaderChanges

Este alerta indica que o líder do etcd muda mais de duas vezes em 10 minutos. Este é um aviso.

EtcdHighNumberOfFailedGrpcRequests

Este alerta indica que uma determinada porcentagem de falhas de solicitação GRPC foi detectada no etcd.

EtcdGrpcRequestsSlow

Este alerta indica que as solicitações etcd GRPC estão lentas. Este é um aviso.

Se esse alerta persistir, entre em contato com o Suporte da UiPath®.

EtcdHighNumberOfFailedHttpRequests

Esse alerta indica que uma determinada porcentagem de falhas HTTP foi detectada no etcd.

EtcdHttpRequestsSlow

Este alerta indica que as solicitações HTTP estão ficando lentas. Este é um aviso.

EtcdMemberCommunicationSlow

Este alerta indica que a comunicação do membro do etcd está diminuindo. Este é um aviso.

EtcdHighNumberOfFailedProposals

Este alerta indica que o servidor etcd recebeu mais de 5 propostas com falha na última hora. Este é um aviso.

EtcdHighFsyncDurations

Este alerta indica que a duração do fsync do etcd WAL está aumentando. Este é um aviso.

EtcdHighCommitDurations

Esse alerta indica que a duração de confirmação do etcd está aumentando. Esse é um warning.

kube-api

KubernetesApiServerErrors

Este alerta indica que o servidor da API do Kubernetes está apresentando uma alta taxa de erros. Esse problema pode levar a outras falhas, portanto, é recomendável que você investigue o problema proativamente.

Verifique os logs do pod api-server para descobrir a causa raiz do problema usando o comando kubectl logs <pod-name> -n kube-system .