Execução da ferramenta de diagnóstico

A ferramenta de diagnóstico do Automation Suite executa um conjunto de verificações para gerar um relatório sobre a integridade do cluster, o qual você pode analisar para identificar problemas e suas possíveis causas. A ferramenta ajuda a encontrar problemas comuns, como a conectividade perdida do banco de dados ou credenciais inválidas ou expiradas.

A ferramenta de diagnóstico do Automation Suite está disponível em uipathctl e uipathtools, e você pode baixar na sua máquina de gerenciamento.

uipathtools é uma ferramenta de CLI que contém um subconjunto de recursos uipathctl específicos para comandos de integridade. A ferramenta é compatível com versões anteriores e funciona com qualquer uma das versões do Automation Suite suportadas. Recomendamos usar uipathtools como a primeira etapa se você tiver qualquer problema.

Validação rápida

Validação rápida

Os comandos check e test fornecem insights rápidos sobre o estado do cluster sem executar uma análise profunda.

• check depende da integridade e do status de sincronização do ArgoCD e não modifica nenhum estado no cluster
• test examina os aplicativos, implantação ou pods e altera temporariamente o estado do cluster para fornecer esses insights a você.

Verificação de integridade

Para executar uma verificação de integridade, use um dos seguintes comandos, dependendo da ferramenta de CLI que você usar:

• Se você usar uipathctl, execute:

  ./uipathctl health check

• Se você usar uipathtools, execute:

  ./uipathtools health check

Por padrão, o comando uipathctl health check verifica a integridade de todos os componentes. No entanto, também permite verificar estritamente os componentes nos quais você está interessado:

• Se quiser excluir componentes da execução, use o sinalizador --excluded. Por exemplo, se você não quiser verificar a integridade do SQL, execute uipathctl health check --excluded SQL. O comando verifica a integridade de todos os componentes, exceto SQL.
• Se quiser incluir apenas determinados componentes na execução, use o sinalizador --included. Por exemplo, se você quiser apenas verificar a integridade do DNS e do objectstore, execute uipathctl health check --included DNS,OBJECTSTORAGE.

Análise dos logs

1. Após executar uma verificação de integridade, os logs mostram que a verificação de integridade do aplicativo Data Service falhou.

   ❌ [DATASERVICE]
       ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced

2. Após uma investigação mais aprofundada, fica claro que o aplicativo Data Service falhou porque os pods dataservice-runtime-8f5bb7d56-v5krg e dataservice-taskrunner-787df76c74-98h5l estão em um estado de falha. Se você analisar mais a fundo, poderá descobrir que o dataservice-external-storage-secret ausente está ausente.

   ❌ [POD]
       ✔ [LIST_NAMESPACES] Retrieved 25 namespaces to check pod health
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-v5krg cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-xs9t5 cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
       ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-taskrunner-787df76c74-98h5l cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found

3. Para corrigir esse problema, certifique-se de que você forneceu as credenciais corretas para o objectstore no cluster_config.json .

Teste de integridade

Para executar um teste de integridade, use um dos seguintes comandos, dependendo da ferramenta de CLI utilizada:

• Se você usar uipathctl, execute:

  ./uipathctl health test

• Se você usar uipathtools, execute:

  ./uipathtools health test

Por padrão, o comando uipathctl health test executa testes de integridade em todos os componentes. No entanto, também permite verificar estritamente os componentes nos quais você está interessado:

• Se quiser excluir componentes da execução, use o sinalizador --excluded. Por exemplo, se você não quiser verificar a integridade do SQL, execute uipathctl health test --excluded SQL. O comando verifica a integridade de todos os componentes, exceto SQL.
• Se quiser incluir apenas determinados componentes na execução, use o sinalizador --included. Por exemplo, se você quiser apenas verificar a integridade do DNS e do objectstore, execute uipathctl health test --included DNS,OBJECTSTORAGE.

Observação:

Se você comparar a saída dos comandos check e test para o aplicativo Data Service, poderá ver que o primeiro valida a integridade do aplicativo, enquanto o último verifica o roteamento.

Problema conhecido

Você pode receber uma mensagem de erro semelhante ao exemplo a seguir. Você pode ignorá-lo porque nenhuma Actions é necessária do seu lado.

E0621 23:32:56.426321   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.426392   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.444420   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.446150   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded
E0621 23:32:56.513357   24470 reflector.go:138] external/io_k8s_client_go/tools/cache/reflector.go:167: Failed to watch *v1.Pod: context deadline exceeded

Validação profunda

Validação profunda

O comando diagnose fornece insights profundos sobre o estado do cluster. Ele ajuda a identificar problemas em todos os níveis, como SQL, Objectstore, nó, segredo, Istio, rede etc.

• Ele abrange os comandos check e test .
• Ele executa as verificações de pré-requisitos realizadas antes da instalação do Automation Suite para validar as alterações na configuração do ambiente que foram feitas após a instalação e que podem ser a causa potencial do problema.

• Ele é executado em todos os nós para coletar quaisquer problemas específicos do nó, como indisponibilidade de recursos, qualquer interferência de rede, etc.

Para executar uma verificação de diagnóstico, use um dos seguintes comandos, dependendo da ferramenta de CLI utilizada:

• Se você usar uipathctl, execute:

  ./uipathctl health diagnose cluster_config.json --versions version.json

• Se você usar uipathtools, execute:

  ./uipathtools health diagnose cluster_config.json --versions version.json

Observação:

O exemplo mencionado acima está cortado para baixo. Os logs reais têm mais informações. É possível observar que o comando diagnose é executado em vários níveis, como infraestrutura, rede, armazenamento, pods, DNS etc.

Análise dos logs

Há dois problemas potenciais que você pode observar nos logs anteriores:

• O Istio tem uma configuração incorreta, o que pode causar problemas no acesso à plataforma do Document Understanding:

  ❌ [ISTIO]
      ✔ [ISTIO_SYNC_STATUS] Istio sync is up-to-date
      ❌ [ISTIO_ENVOY_CONFIG_STATUS] Istio Envoy configs are not healthy: Error [IST0101] (VirtualService uipath/du-platform-vs) Referenced host:port not found: "aistorage:5000"

• Data Service indisponível. Consulte Ceph no exemplo de código.

  ❌ [DATASERVICE]
      ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced
  ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-v5krg cannot mount volume: (combined from similar events): Unable to attach or mount volumes: unmounted volumes=[external-storage-creds], unattached volumes=[workload-socket is-secrets openssl istio-podinfo temp-location cert-location istio-data external-storage-creds workload-certs istio-envoy java domain-cert-config edk2 credential-socket tmp additional-ca-cert-config pem istiod-ca-cert istio-token app-secrets ceph-storage-creds]: timed out waiting for the condition
      ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-runtime-8f5bb7d56-xs9t5 cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found
      ❌ [CANNOT_MOUNT_VOLUME] Pod uipath/dataservice-taskrunner-787df76c74-98h5l cannot mount volume: MountVolume.SetUp failed for volume "external-storage-creds" : secret "dataservice-external-storage-secret" not found

Problemas conhecidos

Você pode receber uma mensagem de erro semelhante ao exemplo a seguir. Você pode ignorá-lo porque nenhuma Actions é necessária do seu lado.

Utilitários adicionais

Utilitários adicionais

Todos os comandos da ferramenta de diagnóstico do Automation Suite (check, teste diagnose) suportam filtragem e formato de saída adicionais.

Filtragem

Filtros	Description	Usos
--included	Lista separada por vírgulas dos serviços a serem incluídos na validação	/uipathctl health diagnose cluster_config.json --versions.json --included ISTIO,INSIGHTS Esse comando executa o diagnóstico apenas em relação ao Istio e ao Insights.
--excluded	Lista separada por vírgulas dos serviços a serem excluídos da validação	/uipathctl health test --excluded ISTIO,INSIGHTS Esse comando executa o teste em todo o cluster, exceto no Istio e no Insights.

Formato de saída

A ferramenta de diagnóstico do Automation Suite pode gerar relatórios em vários formatos: json, yaml, texte junit. Você pode passar esses valores para qualquer comando por meio do sinalizador --output . Esses formatos de saída são úteis quando você deseja aproveitar essas ferramentas para criar sua própria estrutura de solução de problemas com base nelas.

Usos de exemplos

Uso	Saída de exemplo
./uipathctl health check --included DATASERVICE --output json ./uipathtools health check --included DATASERVICE --output json	{ "cluster/": { "DATASERVICE": [ { "name": "DATASERVICE_HEALTH", "description": "Application health check failed: health status is Progressing and sync status is Synced", "status": "failed" } ] } }
./uipathctl health check --included DATASERVICE --output yaml ./uipathtools health check --included DATASERVICE --output yaml	? locationType: cluster : DATASERVICE: - name: DATASERVICE_HEALTH description: 'Application health check failed: health status is Progressing and sync status is Synced' status: failed
./uipathctl health check --included DATASERVICE --output text ./uipathtools health check --included DATASERVICE --output text	Checks run on cluster/ ❌ [DATASERVICE] ❌ [DATASERVICE_HEALTH] Application health check failed: health status is Progressing and sync status is Synced
./uipathctl health check --included DATASERVICE --output junit ./uipathtools health check --included DATASERVICE --output junit	<testsuite name="Health" tests="1" errors="0" failures="1" time="0" timestamp="2023-06-22T01:59:08.313362+05:30" hostname=""> <testcase name="DATASERVICE_HEALTH" classname="" time="0"> <failure message="Application health check failed: health status is Progressing and sync status is Synced" type=""> </failure> </testcase> </testsuite>

Leitura de relatórios de diagnóstico

INFO Registros

Os logs INFO em verde mostram que as verificações necessárias passaram. No entanto, você ainda deve verificar adequadamente o uso de disco/memória para evitar erros ocultos.

Mensagens de AVISO

Mesmo que essas mensagens não sinalizem um alto risco, talvez seja necessário corrigi-las, pois podem afetar alguns serviços em determinados cenários.

Mensagens de erro

Você deve corrigir os problemas descritos por essas mensagens, pois elas afetam algum serviço no cluster.

Rke2-servidor ou Rke2-agente Service Down

Se esses serviços estiverem inoperantes, significa que o nó está inoperante. Tente reiniciar o serviço usando systemctl restart <service-name>, pois isso deve corrigir o problema.

Tamanho do diretório montado em /var/lib

O relatório exibe o tamanho do diretório montado em /var/lib conforme o Kubernetes o usa para armazenar seus dados. Se o diretório estiver cheio, vários problemas podem surgir. Para evitar esses problemas, aumente seu tamanho.

Versão Rke2

O relatório exibe a versão do rke2 para referência.

Demanda de disco ou demanda de memória

Para todos os nós, especificamos se eles estão sob demanda de disco ou demanda de memória. Se isso acontecer, as cargas de trabalho nesses nós podem começar a apresentar problemas. Verifique se existem outros processos em execução nesses nós que estão consumindo recursos e remova-os, se for o caso.

Status dos serviços do Ceph

Usamos o Ceph como armazenamento de objetos S3 para armazenar logs e arquivos de diferentes aplicativos. Você pode exibir o status de seus serviços. Se eles estiverem inoperantes, talvez seja necessário reiniciá-los. Verifique também se o uso do disco pelo Ceph está cheio.

Portas 443 e 31443

Esperamos que as portas 31443 e 443 sejam abertas com o nome de host fornecido. O relatório indica se eles não estão acessíveis. Abra as portas apropriadas se apontadas aqui.

Validade do certificado

A ferramenta verifica se o certificado carregado é válido para o nome de host fornecido e se ele não expirou. Se o certificado não atender a esses critérios, ocorrerão erros. Para evitar isso, verifique o seu certificado carregado e altere-o, se necessário.

GPU

Como alguns serviços exigem que a GPU esteja presente em alguns nós do cluster, a Ferramenta de diagnóstico do Automation Suite verifica se há nós de GPU e apresenta a quantidade de tais nós. Se você espera que os nós de GPU estejam presentes e eles não aparecerem aqui, isso significa que algo deu errado na configuração da GPU.

RabbitMQ e DockerRegistry

O RabbitMQ e o DockerRegistry são dois componentes importantes que alguns serviços usam. Se algum deles estiver inoperante, você precisará investigar o problema e reiniciar.

Serviços do ArgoCD inoperantes

O ArgoCD é nossa ferramenta de gerenciamento do ciclo de vida do aplicativo (ALM). Se algum dos serviços estiver inoperante, outros aplicativos poderão ficar desatualizados ou apresentar outros problemas. A recuperação desses serviços é importante e pode precisar de depuração adicional.

Aplicativos do ArgoCD ausentes ou degradados

A Ferramenta de diagnóstico do Automation Suite mostra se os aplicativos do ArgoCD estão faltando ou estão degradados.

• Se os aplicativos estiverem ausentes, acesse a interface do usuário do ArgoCD e sincronize-o.
• Se os aplicativos estiverem degradados, é necessária depuração adicional para investigar os erros gerados pelo ArgoCD