Encaminhando logs do Kubernetes para o Elasticsearch

Encaminhamento da infraestrutura e logs de aplicativos do Kubernetes para o Elasticsearch do Automation Suite, incluindo opções disponíveis e abordagens recomendadas.

O Automation Suite é compatível com o encaminhamento de logs de infraestrutura e aplicativos do Kubernetes para plataformas de observação externas.

Esta seção descreve como encaminhar logs para o Elasticsearch, explica as opções disponíveis e descreve a abordagem recomendada para a maioria dos cenários.

Observação:

Esta seção abrange o encaminhamento de logs do pod do Kubernetes.

Para encaminhar logs do Robô, consulte Salvar logs do robô no Elasticsearch.

Seleção de uma opção de encaminhamento de log

O Elastic fornece vários agentes e operadores para ingerir logs do Kubernetes. Dependendo da sua versão do Elastic Stack, você pode escolher o mecanismo mais adequado:

• Filebeat (abordagem legada) O Filebeat era o método tradicional para coletar logs do Kubernetes e enviá-los para o Elasticsearch. É adequado para versões mais antigas do Elasticsearch (7.x e início da 8.x). Para obter detalhes, consulte a documentação oficial do Elastic.
• Agente elástico (agente unificado) O Elastic Agent coleta todas as formas de dados de qualquer lugar com um único agente unificado por host. É recomendado para o Elastic Stack 8.x. Para obter detalhes, consulte a documentação oficial do Elastic.
• Distribuição Elastic da OpenTelemetry (EDOT) EDOT (Elastic Distribuição da OpenTelemetry) é recomendada para novas instalações e para ambientes onde você usa o Elasticsearch 8.16+.

EDOT é a escolha recomendada pelos seguintes motivos:

• Totalmente compatível com OpenTelemetry
• Desenvolvido e suportado pelo Elastic
• Simples de operar (Gráficas do Helm e CRDs)
• Pronto para o futuro (a Elastic anunciou uma estratégia que prioriza o OTel)

Para instalar o EDOT em seu cluster do Automation Suite, siga as instruções fornecidas na documentação oficial do Elastic.

Personalização da configuração do EDOT

Você pode modificar o arquivo de valores EDOT para corresponder ao seu ambiente e requisitos de registro em log.

Localize as seções correspondentes em seu arquivo de valores EDOT e atualize-as conforme necessário. Aplique apenas o que for relevante para sua configuração.

Importante:

Para obter opções de configuração completas, consulte a documentação oficial do Elasticsearch e EDOT.

Os seguintes exemplos mostram personalizações comuns:

• Para excluir logs ruidosos ou de alto volume, consulte o seguinte exemplo de configuração:

  config:
    receivers:
      filelog:
        exclude:
            - /var/log/pods/opentelemetry-operator-system_opentelemetry-kube-stack*/*/*.log
            - /var/log/pods/*/*/istio-proxy/*.log
            - /var/log/pods/*/*/istio-init/*.log
            - /var/log/pods/*/*/aicenter-hit-count-update/*.log
            - /var/log/pods/*/*/istio-configure-executor/*.log
            - /var/log/pods/*/*/on-prem-tenant-license-update/*.log
            - /var/log/pods/*/*/curl/*.log
            - /var/log/pods/*/*/recovery/*.log
            - /var/log/pods/*/*/aicenter-oob-scheduler/*.log
            - /var/log/pods/*/*/cert-trustor/*.log
            - /var/log/pods/default_*/*.log
            - /var/log/pods/fleet-system_*/*.log
            - /var/log/pods/gatekeeper_*/*.log
  

• Para ajustar configurações de TLS quando você usa certificados autoassinados em uma configuração de desenvolvimento, consulte o seguinte exemplo de configuração:

  config:
    exporters:
      elasticsearch/otel:
        tls:
          insecure_skip_verify: true
  

Use isso apenas para ambientes de não produção.

• Para desabilitar métricas e traces e usar o modo somente logs, consulte o seguinte exemplo de configuração:

  config:
    service:
      pipelines:
        metrics: null
        traces: null
  

A implantação do EDOT adiciona componentes (como coletores, processadores e exportadores) que são executados em todo o cluster. Como resultado, o uso geral de CPU e memória aumenta. Certifique-se de que seu cluster tenha recursos disponíveis suficientes para suportar esses componentes. Você pode ajustar as solicitações e limites de recursos do EDOT no arquivo de valores para atender aos requisitos do seu cluster.