automation-suite
2023.10
false
UiPath logo, featuring letters U and I in white
Automation Suite no guia de instalação do EKS/AKS
Last updated 21 de nov de 2024

Runbooks de alertas

Observação:
  • Para obter instruções gerais sobre como usar as ferramentas disponíveis para alertas, métricas e exibições, consulte Uso da pilha de monitoramento.
  • Para obter mais informações sobre como corrigir problemas e criar um pacote de suporte para engenheiros de suporte da UiPath®, consulte Solução de problemas.
  • Ao entrar em contato com o Suporte da UiPath®, inclua todos os alertas que estão sendo disparados no momento.

Chave de gravidade do alerta

Gravidade do alerta

Description

Informações

Inesperado, mas inofensivo. Pode ser silenciado, mas pode ser útil durante o diagnóstico.

Aviso

Indicação de uma degradação direcionada da funcionalidade ou uma probabilidade de degradação em um futuro próximo, que pode afetar todo o cluster. Sugere ação imediata (geralmente dentro de dias) para manter o cluster íntegro.

Crítica

Conhecido por causar séria degradação da funcionalidade que geralmente é difundida no cluster. Requer ação imediata (no mesmo dia) para reparar o cluster.

Regras.Geral

TargetDown

O Prometheus não pode coletar métricas do destino no alerta, o que significa que os painéis do Grafana e outros alertas com base nas métricas desse destino não estarão disponíveis. Verifique outros alertas relativos a esse destino.

Watchdog

Este é um alerta destinado a garantir que todo o pipeline de alertas esteja funcional. Este alerta está sempre disparando. Portanto, ele deve sempre ser disparado no AlertManager e contra um receptor. Existem integrações com vários mecanismos de notificação que notificam quando esse alerta não está disparando. Por exemplo, a integração do DeadMansSnitch no PagerDuty.

kubernetes-apps

KubePodCrashLooping

Um pod que continua reiniciando inesperadamente. Isso pode acontecer devido a um erro de memória insuficiente (OOM na sigla em inglês), caso em que os limites podem ser ajustados. Verifique os eventos do pod com kubectl describe, e os logs com kubectl logs para conferir detalhes sobre possíveis falhas. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubePodNotReady

Um pod foi iniciado, mas não está respondendo à investigação de integridade com sucesso. Isso pode significar que ele está travado e não é capaz de atender ao tráfego. Você pode verificar os logs do pod com kubectl logs para conferir se há alguma indicação de progresso. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeDeploymentGenerationMismatch, KubeStatefulSetGenerationMismatch

Houve uma tentativa de atualização para uma implantação ou statefulset, mas falhou e ainda não ocorreu uma reversão. Entre em contato com o Suporte da UiPath®.

KubeDeploymentReplicasMismatch, KubeStatefulSetReplicasMismatch

Em clusters de alta disponibilidade com várias réplicas, esse alerta é acionado quando a quantidade de réplicas não é a ideal. Isso pode ocorrer quando não há recursos suficientes no cluster para agendar. Verifique a utilização de recursos e adicione capacidade conforme necessário. Caso contrário, entre em contato com o Suporte da UiPath®.

KubeStatefulSetUpdateNotRolledOut

Uma atualização para uma statefulset falhou. Entre em contato com o Suporte da UiPath®.

Consulte também: StatefulSets.

KubeDaemonSetRolloutStuck

A implementação do Daemonset falhou. Entre em contato com o Suporte da UiPath®.

Consulte também: DaemonSet.

KubeContainerWaiting

Um contêiner está travado no estado de espera. Ele foi agendado para um nó de trabalho, mas não pode ser executado naquela máquina. Confira kubectl describe do pod para obter mais informações. A causa mais comum de contêineres em espera é uma falha no pull da imagem. Para clusters isolados, isso pode significar que o registro local não está disponível. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeDaemonSetNotScheduled, KubeDaemonSetMisScheduled

Isso pode indicar um problema com um dos nós. Verifique a integridade de cada nó e corrija os problemas conhecidos. Caso contrário, entre em contato com o Suporte da UiPath®.

KubeJobCompletion

Um trabalho leva mais de 12 horas para ser concluído. Isso não é esperado. Entre em contato com o Suporte da UiPath®.

KubeJobFailed

Um trabalho falhou; no entanto, a maioria dos trabalhos é repetida automaticamente. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeHpaReplicasMismatch

O escalonador automático não pode escalonar o recurso em questão conforme configurado. Se o desejado for maior que o real, pode haver falta de recursos. Se o desejado for menor que o real, os pods podem estar travados durante o desligamento. Se o problema persistir, entre em contato com o Suporte da UiPath®.

KubeHpaMaxedOut

A quantidade de réplicas de um determinado serviço atingiu seu máximo. Isso acontece quando a quantidade de solicitações feitas ao cluster é muito alta. Se o tráfego intenso for esperado e temporário, você poderá silenciar este alerta. No entanto, esse alerta é um sinal de que o cluster está com capacidade máxima e não pode lidar com muito mais tráfego. Se mais capacidade de recursos estiver disponível no cluster, você poderá aumentar a quantidade máxima de réplicas para o serviço seguindo estas instruções:

# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'# Find the horizontal autoscaler that controls the replicas of the desired resource
kubectl get hpa -A
# Increase the number of max replicas of the desired resource, replacing <namespace> <resource> and <maxReplicas>
kubectl -n <namespace> patch hpa <resource> --patch '{"spec":{"maxReplicas":<maxReplicas>}}'

kubernetes-resources

KubeCPUOvercommit, KubeMemoryOvercommit

Esses avisos indicam que o cluster não consegue tolerar falhas de nó. Para clusters de avaliação de nó único, isso é conhecido e esses alertas podem ser silenciados. Para configurações de produção prontas para alta disponibilidade de vários nós, esses alertas são acionados quando muitos nós se tornam não íntegros para dar suporte à alta disponibilidade, e indicam que os nós devem ser restaurados ou substituídos.

KubeCPUQuotaOvercommit, KubeMemoryQuotaOvercommit, KubeQuotaAlmostFull, KubeQuotaFullyUsed, KubeQuotaExceeded

Esses alertas pertencem a cotas de recursos de namespace que só existem no cluster se adicionados por meio de personalização. As cotas de recursos de namespace não são adicionadas como parte da instalação do Automation Suite.

Consulte também: Cotas de recursos.

CPUThrottlingHigh

A utilização da CPU de um contêiner foi limitada de acordo com os limites configurados. Isso faz parte da operação normal do Kubernetes e pode fornecer informações úteis quando outros alertas estiverem sendo acionados. Você pode silenciar este alerta.

Kubernetes-storage

KubePersistentVolumeFillingUp

Aviso: o espaço disponível é inferior a 15% e provavelmente será preenchido em quatro dias.

Quando Crítico: o espaço disponível é inferior a 10%.

Para qualquer serviço que fique sem espaço, pode ser difícil recuperar os dados, portanto, os volumes devem ser redimensionados antes de atingir 0% de espaço disponível.

Para alertas específicos do Prometheus, consulte PrometheusStorageUsage para obter mais detalhes e instruções.

kube-state-metrics

KubeStateMetricsListErrors, KubeStateMetricsWatchErrors

O coletor de métricas de estado do Kube não consegue coletar métricas do cluster sem erros. Isso significa que alertas importantes podem não disparar. Entre em contato com o Suporte da UiPath®.

kubernetes-system-apiserver

KubeClientCertificateExpiration

Quando Aviso: um certificado de cliente usado para autenticação no servidor da API do Kubernetes expira em menos de sete dias.

Quando Crítico: um certificado de cliente usado para autenticação no servidor da API do Kubernetes expira em menos de um dia.

Você deve renovar o certificado.

AggregatedAPIErrors, AggregatedAPIDown, KubeAPIDown, KubeAPITerminatedRequests

Indica problemas com o plano de controle do Kubernetes. Verifique a integridade dos nós principais, resolva os problemas pendentes e entre em contato com o Suporte da UiPath® se os problemas persistirem.

Consulte também:

KubernetesApiServerErrors

Este alerta indica que o servidor da API do Kubernetes está apresentando uma alta taxa de erros. Esse problema pode levar a outras falhas, portanto, é recomendável que você investigue o problema proativamente.

Verifique os logs do pod api-server para descobrir a causa raiz do problema usando o comando kubectl logs <pod-name> -n kube-system .

kubernetes-system-kubelet

KubeNodeNotReady, KubeNodeUnreachable, KubeNodeReadinessFlapping, KubeletPlegDurationHigh, KubeletPodStartUpLatencyHigh, KubeletDown

Esses alertas indicam um problema com um nó. Em clusters de produção prontos para alta disponibilidade de vários nós, os pods provavelmente seriam reprogramados para outros nós. Se o problema persistir, você deverá remover e drenar o nó para manter a integridade do cluster. Em clusters sem capacidade extra, primeiro outro nó deve ser associado ao cluster.

KubeletTooManyPods

Há muitos pods em execução no nó especificado.

KubeletClientCertificateExpiration, KubeletServerCertificateExpiration

Quando Warning: um certificado de cliente ou servidor para Kubelet expira em menos de sete dias.

Quando Crítico: um certificado de cliente ou servidor para Kubelet expira em menos de um dia.

Você deve renovar o certificado.

KubeletClientCertificateRenewalErrors, KubeletServerCertificateRenewalErrors

O Kubelet falhou ao renovar seu certificado de cliente ou servidor. Entre em contato com o suporte da UiPath®.

kubernetes-system

KubeVersionMismatch

Existem versões semânticas diferentes de componentes do Kubernetes em execução. Isso pode acontecer como resultado de uma falha de upgrade do Kubernetes.

KubeClientErrors

O cliente do servidor da API do Kubernetes está apresentando mais de 1% de erros. Pode haver um problema com o nó em que este cliente está sendo executado ou com o próprio servidor da API do Kubernetes.

KubernetesMemoryPressure

Esse alerta indica que o uso de memória está muito alto no nó do Kubernetes.

Se esse alerta disparar, tente ver qual pod está consumindo mais memória.

KubernetesDiskPressure

Esse alerta indica que o uso do disco é muito alto no nó Kubernetes.

Ao surgir esse alerta, tente ver qual pod está consumindo mais disco.

Kube-apiserver-slos

KubeAPIErrorBudgetBurn

O servidor da API do Kubernetes está usando muita reserva de erros.

node-exporter

NodeFilesystemSpaceFillingUp, NodeFilesystemAlmostOutOfSpace, NodeFilesystemFilesFillingUp

O sistema de arquivos em um nó específico está sendo preenchido completamente. Provisione mais espaço adicionando um disco ou montando discos não utilizados.

NodeRAIDDegraded

A matriz RAID está em um estado degradado devido a uma ou mais falhas de disco. A quantidade de drives sobressalentes

é insuficiente para corrigir o problema automaticamente.

NodeRAIDDiskFailure

O array de RAID precisa de atenção e possivelmente uma troca de disco.

NodeNetworkReceiveErrs, NodeNetworkTransmitErrs, NodeHighNumberConntrackEntriesUsed

Há um problema com a interface de rede física no nó. Se os problemas persistirem, pode ser necessário substituí-la.

NodeClockSkewDetected, NodeClockNotSynchronising

Há um problema com o relógio no nó. Certifique-se de que o NTP esteja configurado corretamente.

node-network

NodeNetworkInterfaceFlapping

Há um problema com a interface de rede física no nó. Se os problemas persistirem, pode ser necessário substituí-la.

InternodeCommunicationBroken

O nó parou de responder devido a algum problema que causou comunicação interrompida entre nós no cluster.

Para corrigir esse problema, reinicie o nó afetado. Se o problema persistir, entre em contato com o Suporte da UiPath® com a Ferramenta de Pacote de Suporte.

alertmanager.rules

AlertmanagerConfigInconsistent

Esses são erros internos do AlertManager para clusters de alta disponibilidade com várias réplicas do AlertManager. Os alertas podem aparecer e desaparecer intermitentemente. Reduzir temporariamente e, em seguida, aumentar as réplicas do AlertManager pode corrigir o problema.

Para corrigir o problema, siga as seguintes etapas:

  1. Dimensionar para zero. Observe que leva um momento para que os pods sejam desligados:

    kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=0
  2. Dimensionar novamente para dois:

    kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2kubectl scale statefulset -n cattle-monitoring-system alertmanager-rancher-monitoring-alertmanager --replicas=2
  3. Verifique se os pods do AlertManager foram iniciados e se estão no estado de execução:

    kubectl get po -n cattle-monitoring-systemkubectl get po -n cattle-monitoring-system

Se o problema persistir, entre em contato com o Suporte da UiPath®.

AlertmanagerFailedReload

O AlertManager falhou ao carregar ou recarregar a configuração. Verifique quaisquer configurações personalizadas do AlertManager para erros de entrada e, caso contrário, entre em contato com o Suporte da UiPath®.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Erros internos do operador do Prometheus, que controla os recursos do Prometheus. O próprio Prometheus ainda pode estar íntegro mesmo com esses erros presentes; no entanto, esse erro indica que há uma configuração de monitoramento degradada. Entre em contato com o Suporte da UiPath®.

Prometheus

PrometheusBadConfig

O Prometheus falhou ao carregar ou recarregar a configuração. Verifique se as configurações personalizadas do Prometheus têm erros de entrada. Caso contrário, entre em contato com o Suporte da UiPath®.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

A conexão do Prometheus ao AlertManager não está íntegra. As métricas ainda podem ser consultadas e os painéis do Grafana ainda podem exibi-las, mas os alertas não serão acionados. Verifique se as configurações personalizadas do AlertManager têm erros de entrada, caso contrário, entre em contato com o Suporte da UiPath®.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Erros internos do Prometheus que indicam que as métricas podem não ser coletadas conforme o esperado. Entre em contato com o Suporte da UiPath®.

PrometheusRuleFailures

Isso pode acontecer se houver alertas malformados com base em métricas inexistentes ou sintaxe incorreta do PromQL. Entre em contato com o Suporte da UiPath® se nenhum alerta personalizado tiver sido adicionado.

PrometheusMissingRuleEvaluations

O Prometheus não consegue avaliar se os alertas devem ser disparados. Isso pode acontecer se houver muitos alertas. Remova as avaliações dispendiosas de alertas personalizados e/ou consulte a documentação sobre como aumentar o limite de CPU do Prometheus. Entre em contato com o Suporte da UiPath® se nenhum alerta personalizado tiver sido adicionado.

PrometheusTargetLimitHit

Há muitos alvos para o Prometheus coletar. Se ServiceMonitors extras tiverem sido adicionados (consulte Console de monitoramento), você poderá removê-los.

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing, UiPathAvailabilityHighTrafficBackend, UiPathAvailabilityMediumTrafficUserFacing, UiPathAvailabilityMediumTrafficBackend, UiPathAvailabilityLowTrafficUserFacing, UiPathAvailabilityLowTrafficBackend

A quantidade de respostas http 500 dos serviços da UiPath® excede um determinado limite.

Nível de tráfego

Quantidade de solicitações em 20 minutos

Limite de erro (para http 500s)

Alta

>100.000

0,1%

Médio

Entre 10.000 e 100.000

1%

Baixa

< 10.000

5%

Os erros em serviços voltados para o usuário provavelmente resultariam em funcionalidade degradada que é diretamente observável na interface do usuário do Automation Suite, já os erros em serviços de back-end teriam consequências menos óbvias.

O alerta indica qual serviço está apresentando uma alta taxa de erro. Para entender quais problemas de cascata podem haver de outros serviços dos quais o serviço de relatório depende, você pode usar o painel de carga de trabalho do Istio, que mostra os erros entre os serviços.

Verifique novamente todos os produtos do Automation Suite recentemente reconfigurados. Logs detalhados também estão disponíveis com o comando kubectl logs. Se o erro persistir, entre em contato com o Suporte da UiPath®.

uipath.cronjob.alerts.rules

CronJobSuspended

O cronjob uipath-infra/istio-configure-script-cronjob está em estado suspenso.

Para corrigir esse problema, habilite o cronjob executando as seguintes etapas:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the above command are part of output of below command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verify if all the IP's listed by the above command are part of output of below command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

UiPath CronJob "kerberos-tgt-refresh" falhou

Este trabalho obtém o tíquete do Kerberos mais recente do AD Server para autenticação integrada ao SQL. Falhas neste trabalho fariam com que a autenticação do SQL Server falhasse. Entre em contato com o Suporte da UiPath®.

IdentityKerberosTgtUpdateFailed

Este trabalho atualiza o tíquete do Kerberos mais recente para todos os serviços da UiPath®. Falhas neste trabalho fariam com que a autenticação do SQL Server falhasse. Entre em contato com o Suporte da UiPath®.

uipath.requestrouting.alerts

UiPathRequestRouting

Erros na camada de roteamento de solicitação resultariam em funcionalidade degradada que é diretamente observável na interface do usuário do Automation Suite. As solicitações não serão roteadas para serviços de back-end.

Você pode encontrar o log de erro detalhado do roteamento de solicitações executando o comando kubectl logs no pod do gateway do Istio ingress. Se o erro persistir, entre em contato com o Suporte da UiPath®.

Alertas de certificado TLS do servidor

SecretCertificateExpiry30Days

Esse alerta indica que o certificado do servidor TLS expirará nos 30 dias seguintes.

Para corrigir esse problema, atualize o certificado TLS do servidor. Para instruções, consulte Como gerenciar certificados.

SecretCertificateExpiry7Days

Esse alerta indica que o certificado do servidor TLS expirará nos 7 dias seguintes.

Para corrigir esse problema, atualize o certificado TLS. Para instruções, consulte Como gerenciar certificados.

Alertas de certificado de assinatura de token de identidade

IdentityCertificateExpiry30Days

Este alerta indica que o certificado de assinatura do token de identidade expirará nos próximos 30 dias.

Para corrigir esse problema, atualize o certificado de assinatura do token de identidade. Para instruções, consulte Como gerenciar certificados.

IdentityCertificateExpiry7Days

Esse alerta indica que o certificado de assinatura do token de identidade expirará nos 7 dias seguintes.

Para corrigir esse problema, atualize o certificado de assinatura do token de identidade. Para instruções, consulte Como gerenciar certificados.

Alertas etdc

EtcdInsufficientMembers

Este alerta indica que o cluster etcd possui um número insuficiente de membros. Observe que o cluster deve ter um número ímpar de membros. A gravidade desse alerta é crítica.

Certifique-se de que haja um número ímpar de nós de servidor no cluster e que todos estejam ativos e íntegros.

EtcdNoLeader

Este alerta mostra que o cluster etcd não tem líder. A gravidade desse alerta é crítica.

EtcdHighNumberOfLeaderChanges

Este alerta indica que o líder do etcd muda mais de duas vezes em 10 minutos. Este é um aviso.

EtcdHighNumberOfFailedGrpcRequests

Este alerta indica que uma determinada porcentagem de falhas de solicitação GRPC foi detectada no etcd.

EtcdGrpcRequestsSlow

Este alerta indica que as solicitações etcd GRPC estão lentas. Este é um aviso.

EtcdHighNumberOfFailedHttpRequests

Esse alerta indica que uma determinada porcentagem de falhas HTTP foi detectada no etcd.

EtcdHttpRequestsSlow

Este alerta indica que as solicitações HTTP estão ficando lentas. Este é um aviso.

EtcdMemberCommunicationSlow

Este alerta indica que a comunicação do membro do etcd está diminuindo. Este é um aviso.

EtcdHighNumberOfFailedProposals

Este alerta indica que o servidor etcd recebeu mais de 5 propostas com falha na última hora. Este é um aviso.

EtcdHighFsyncDurations

Este alerta indica que a duração do fsync do etcd WAL está aumentando. Este é um aviso.

EtcdHighCommitDurations

Esse alerta indica que a duração de confirmação do etcd está aumentando. Esse é um warning.

Alertas de tamanho de disco

LowDiskForRancherPartition

Este alerta indica que o espaço livre para a partição /var/lib/rancher é menor que:
  • 35% – a gravidade do alerta é um aviso
  • 25% – a gravidade do alerta é crítica

Se esse alerta disparar, aumente o tamanho do disco.

LowDiskForKubeletPartition

Este alerta indica que o espaço livre para a partição /var/lib/kubelet é menor que:
  • 35% – a gravidade do alerta é um aviso
  • 25% – a gravidade do alerta é crítica

    Se esse alerta disparar, aumente o tamanho do disco.

LowDiskForVarPartition

Este alerta indica que o espaço livre para a partição /var é menor que:
  • 35% – a gravidade do alerta é um aviso
  • 25% – a gravidade do alerta é crítica
Observação:

Os requisitos de armazenamento para habilidades de ML podem aumentar substancialmente o uso do disco.

Se esse alerta disparar, aumente o tamanho do disco.

Esta página foi útil?

Obtenha a ajuda que você precisa
Aprendendo RPA - Cursos de automação
Fórum da comunidade da Uipath
Uipath Logo White
Confiança e segurança
© 2005-2024 UiPath. Todos os direitos reservados.