Alertas de gerenciamento

Resolver alertas de gerenciamento relacionados a inconsistências de configuração do Alertmanager no Automation Suite.

alertmanager.rules

AlertmanagerConfigInconsistent

Este alerta é acionado quando as instâncias Alertmanager dentro do mesmo cluster têm configurações diferentes. Isso pode indicar um problema com a implantação da configuração que não é consistente em todas as instâncias do Alertmanager.

Para corrigir o problema, siga as seguintes etapas:

1. Execute uma ferramenta diff entre todos os alertmanager.yml implantados para identificar o problema.
2. Exclua o segredo incorreto e implante o correto.

Se o problema persistir, entre em contato com o Suporte da UiPath®.

AlertmanagerFailedReload

O AlertManager falhou ao carregar ou recarregar a configuração. Verifique quaisquer configurações personalizadas do AlertManager para erros de entrada e, caso contrário, entre em contato com o Suporte da UiPath® e forneça o pacote de suporte. Para obter detalhes, consulte Uso do pacote de suporte do Automation Suite.

AlertmanagerMembersInconsistent

Esses são erros internos do AlertManager para clusters de alta disponibilidade com várias réplicas do AlertManager. Os alertas podem aparecer e desaparecer intermitentemente. Reduzir temporariamente e, em seguida, aumentar as réplicas do AlertManager pode corrigir o problema.

Para corrigir o problema, siga as seguintes etapas:

1. Dimensionar para zero. Observe que leva um momento para que os pods sejam desligados:

   statefulset.apps/alertmanager-monitoring-kube-prometheus-alertmanager scaled
   

2. Dimensionar novamente para dois:

   kubectl scale statefulset -n monitoring alertmanager-monitoring-kube-prometheus-alertmanager --replicas=2
   

3. Verifique se os pods do AlertManager foram iniciados e se estão no estado de execução:

   kubectl get po -n monitoring
   

Se o problema persistir, entre em contato com o Suporte da UiPath®.

Regras.Geral

TargetDown

O Prometheus não pode coletar métricas do destino no alerta, o que significa que os painéis do Grafana e outros alertas com base nas métricas desse destino não estarão disponíveis. Verifique outros alertas relativos a esse destino.

Watchdog

Este é um alerta destinado a garantir que todo o pipeline de alertas esteja funcional. Este alerta está sempre disparando. Portanto, ele deve sempre ser disparado no AlertManager e contra um receptor. Existem integrações com vários mecanismos de notificação que notificam quando esse alerta não está disparando. Por exemplo, a integração do DeadMansSnitch no PagerDuty.

prometheus-operator

PrometheusOperatorListErrors, PrometheusOperatorWatchErrors, PrometheusOperatorSyncFailed, PrometheusOperatorReconcileErrors, PrometheusOperatorNodeLookupErrors, PrometheusOperatorNotReady, PrometheusOperatorRejectedResources

Erros internos do operador do Prometheus, que controla os recursos do Prometheus. O próprio Prometheus ainda pode estar íntegro mesmo com esses erros presentes; no entanto, esse erro indica que há uma configuração de monitoramento degradada. Entre em contato com o Suporte da UiPath®.

Prometheus

PrometheusBadConfig

O Prometheus falhou ao carregar ou recarregar a configuração. Verifique se as configurações personalizadas do Prometheus têm erros de entrada. Caso contrário, entre em contato com o Suporte da UiPath®.

PrometheusErrorSendingAlertsToSomeAlertmanagers, PrometheusErrorSendingAlertsToAnyAlertmanager, PrometheusNotConnectedToAlertmanagers

A conexão do Prometheus ao AlertManager não está íntegra. As métricas ainda podem ser consultadas e os painéis do Grafana ainda podem exibi-las, mas os alertas não serão acionados. Verifique se as configurações personalizadas do AlertManager têm erros de entrada, caso contrário, entre em contato com o Suporte da UiPath®.

PrometheusNotificationQueueRunningFull, PrometheusTSDBReloadsFailing, PrometheusTSDBCompactionsFailing, PrometheusNotIngestingSamples, PrometheusDuplicateTimestamps, PrometheusOutOfOrderTimestamps, PrometheusRemoteStorageFailures, PrometheusRemoteWriteBehind, PrometheusRemoteWriteDesiredShards

Erros internos do Prometheus que indicam que as métricas podem não ser coletadas conforme o esperado. Entre em contato com o Suporte da UiPath®.

PrometheusRuleFailures

Isso pode acontecer se houver alertas malformados com base em métricas inexistentes ou sintaxe incorreta do PromQL. Entre em contato com o Suporte da UiPath® se nenhum alerta personalizado tiver sido adicionado.

PrometheusMissingRuleEvaluations

O Prometheus não consegue avaliar se os alertas devem ser disparados. Isso pode acontecer se houver muitos alertas. Remova as avaliações dispendiosas de alertas personalizados e/ou consulte a documentação sobre como aumentar o limite de CPU do Prometheus. Entre em contato com o Suporte da UiPath® se nenhum alerta personalizado tiver sido adicionado.

PrometheusTargetLimitHit

Há muitos alvos para o Prometheus coletar. Se ServiceMonitors extras tiverem sido adicionados (consulte Console de monitoramento), você poderá removê-los.

uipath.prometheus.resource.provisioning.alerts

PrometheusMemoryUsage, PrometheusStorageUsage

Esses alertas advertem quando o cluster está se aproximando dos limites configurados para memória e armazenamento. É provável que isso aconteça em clusters com um aumento substancial recente no uso (geralmente de robôs em vez de usuários) ou quando os nós são adicionados ao cluster sem ajustar os recursos do Prometheus. Isso se deve a um aumento na quantidade de métricas coletadas.

Isso também pode ser devido a um grande número de alertas que estão sendo disparados, é importante verificar por que a grande quantidade de alertas está sendo disparada.

Se esse problema persistir, entre em contato com o Suporte da UiPath® com o pacote de suporte gerado .

uipath.availability.alerts

UiPathAvailabilityHighTrafficUserFacing

A quantidade de respostas http 500 dos serviços da UiPath® excede um determinado limite. A tabela a seguir descreve os limites de nível de tráfego usados para avaliar taxas de erro.

Nível de tráfego	Quantidade de solicitações em 20 minutos	Limite de erro (para http 500s)
Alta	>100.000	0,1%
Médio	Entre 10.000 e 100.000	1%
Baixa	< 10.000	5%

Os erros em serviços voltados para o usuário provavelmente resultariam em funcionalidade degradada que é diretamente observável na interface do usuário do Automation Suite, já os erros em serviços de back-end teriam consequências menos óbvias.

O alerta indica qual serviço está apresentando uma alta taxa de erro. Para entender quais problemas de cascata podem haver de outros serviços dos quais o serviço de relatório depende, você pode usar o painel de carga de trabalho do Istio, que mostra os erros entre os serviços.

Verifique novamente todos os produtos do Automation Suite recentemente reconfigurados. Logs detalhados também estão disponíveis com o comando kubectl logs. Se o erro persistir, entre em contato com o Suporte da UiPath®.

backup

NFSServerDisconnected

Este alerta indica que a conexão do servidor NFS foi perdida.

Você precisa verificar a conexão do servidor NFS e o caminho de montagem.

VolumeBackupFailed

Este alerta indica que o backup falhou para um PVC.

Para solucionar esse problema, siga as seguintes etapas:

1. Verifique o status do PVC para garantir que seja Bound em relação a um Volume Persistente (PV).

   kubectl get pvc --namespace <namespace>
   

   O comando lista todos os PVCs e seus status atuais. O PVC deve ter um status de Bound para indicar que reivindicou um PV com sucesso.

   Se o status for Pending, significa que o PVC ainda está aguardando um PV adequado, e é necessária uma investigação mais aprofundada.

2. Se o PVC não estiver em um estado Bound ou se você precisar de informações mais detalhadas, use o comando describe:

   kubectl describe pvc <pvc-name> --namespace <namespace>
   

   Procure informações sobre o status, eventos e quaisquer mensagens de erro. Por exemplo, um problema pode estar relacionado a configurações incorretas de classes de armazenamento ou limitações de cota.

3. Verifique a integridade do Volume Persistente (PV) que está vinculado ao PVC:

   kubectl get pv <pv-name>
   

   O status deve ser Bound. Se o PV estiver em um estado Released ou Failed, isso pode indicar problemas com o armazenamento subjacente.

4. Se o PVC for usado por um pod, verifique se o pod montou o volume com sucesso:

   kubectl get pod <pod-name> --namespace <namespace>
   

   Se o pod estiver em um estado Running, isso indica que o PVC foi montado com sucesso. Se o pod estiver em um estado de erro (como InitBackOff), isso pode indicar problemas na montagem do volume.

5. Se houver problemas com a montagem do PVC, descreva o pod para verificar se há erros de montagem:

   kubectl describe pod <pod-name> --namespace <namespace>
   

BackupDesabilitado

Este alerta indica que o backup está desabilitado.

Você precisa habilitar o backup.

Backup parcialmente falhado

Esse alerta indica que o backup do Velero falhou.

Você precisa entrar em contato com o Suporte da UiPath®.

cronjob-alerts

CronJobSuspended

O cronjob uipath-infra/istio-configure-script-cronjob está em estado suspenso.

Para corrigir esse problema, habilite o cronjob executando as seguintes etapas:

export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" && export PATH="$PATH:/usr/local/bin:/var/lib/rancher/rke2/bin"
kubectl -n uipath-infra patch cronjob istio-configure-script-cronjob -p '{"spec":{"suspend":false}}'
epoch=$(date +"%s")
kubectl -n uipath-infra create job istio-configure-script-cronjob-manual-$epoch --from=cronjob/istio-configure-script-cronjob
kubectl -n uipath-infra wait --for=condition=complete --timeout=300s job/istio-configure-script-cronjob-manual-$epoch
kubectl get node -o wide
#Verif if all the IP's listed by the previous command are part of output of the following command
kubectl -n istio-system get svc istio-ingressgateway -o json | jq '.spec.externalIPs'

IdentityKerberosTgtUpdateFailed

Este trabalho atualiza o tíquete do Kerberos mais recente para todos os serviços da UiPath®. Falhas neste trabalho fariam com que a autenticação do SQL Server falhasse. Entre em contato com o Suporte da UiPath®.