Transfert des journaux Kubernetes vers Elasticsearch

Transfert des journaux d'infrastructure et d'application Kubernetes vers Elasticsearch depuis Automation Suite, y compris les options disponibles et les approches recommandées.

Automation Suite prend en charge le transfert des journaux d'infrastructure Kubernetes et d'application vers des plates-formes d'observabilité externes.

Cette section explique comment transférer des journaux vers Elasticsearch, explique les options disponibles et décrit l’approche recommandée pour la plupart des scénarios.

Remarque :

Cette section couvre le transfert des journaux de pod Kubernetes.

Pour transférer les journaux du robot, reportez-vous à Enregistrement des journaux de robot dans Elasticsearch.

Sélectionner une option de transfert de journal

Elastic fournit plusieurs agents et opérateurs pour ingérer les journaux à partir de Kubernetes. Selon votre version d'Elastic Stack, vous pouvez choisir le mécanisme le plus adapté :

• Filebeat (approche héritée) Filebeat était la méthode traditionnelle permettant de collecter les journaux Kubernetes et de les envoyer à Elasticsearch. Il est adapté aux anciennes versions d'Elasticsearch (7.x et début 8.x). Pour en savoir plus, consultez la documentation officielle d’Elastic.
• Elastic Agent (agent unifié) Elastic Agent collecte toutes les formes de données de n’importe où avec un seul agent unifié par hôte. Il est recommandé pour Elastic Stack 8.x. Pour en savoir plus, consultez la documentation officielle d’Elastic.
• Elastic Distribution of OpenTelemetry (EDOT) EDOT (Elastic Distribution of OpenTelemetry) est recommandé pour les nouvelles installations et pour les environnements où vous utilisez Elasticsearch 8.16+.

EDOT est le choix recommandé pour les raisons suivantes :

• Entièrement compatible OpenTelemetry
• Développé et pris en charge par Elastic
• Simple d’utilisation (graphiques Helm et CRD)
• anticipez sur l’avenir (Elastic a annoncé une stratégie axée sur le service Otor)

Pour installer EDOT dans votre cluster Automation Suite, suivez les instructions fournies dans la documentation officielle Elastic.

Personnalisation de la configuration EDOT

Vous pouvez modifier le fichier des valeurs EDOT pour qu'il corresponde à votre environnement et à vos exigences de journalisation.

Localisez les sections correspondantes dans votre fichier de valeurs EDOT et mettez-les à jour si nécessaire. Appliquez uniquement les éléments pertinents pour votre configuration.

Important :

Pour obtenir les options de configuration complètes, consultez la documentation officielle d'Elasticsearch et de EDOT.

Les exemples suivants illustrent des personnalisations courantes :

• Pour exclure les journaux bruyants ou à volume élevé, reportez-vous à l’exemple de configuration suivant:

  config:
    receivers:
      filelog:
        exclude:
            - /var/log/pods/opentelemetry-operator-system_opentelemetry-kube-stack*/*/*.log
            - /var/log/pods/*/*/istio-proxy/*.log
            - /var/log/pods/*/*/istio-init/*.log
            - /var/log/pods/*/*/aicenter-hit-count-update/*.log
            - /var/log/pods/*/*/istio-configure-executor/*.log
            - /var/log/pods/*/*/on-prem-tenant-license-update/*.log
            - /var/log/pods/*/*/curl/*.log
            - /var/log/pods/*/*/recovery/*.log
            - /var/log/pods/*/*/aicenter-oob-scheduler/*.log
            - /var/log/pods/*/*/cert-trustor/*.log
            - /var/log/pods/default_*/*.log
            - /var/log/pods/fleet-system_*/*.log
            - /var/log/pods/gatekeeper_*/*.log
  

• Pour configurer les paramètres TLS lorsque vous utilisez des certificats auto-signés dans une configuration de développement, consultez l'exemple de configuration suivant:

  config:
    exporters:
      elasticsearch/otel:
        tls:
          insecure_skip_verify: true
  

Utilisez-le uniquement pour les environnements de non-production.

• Pour désactiver les mesures et les traces et utiliser le mode journaux uniquement, reportez-vous à l'exemple de configuration suivant:

  config:
    service:
      pipelines:
        metrics: null
        traces: null
  

Le déploiement d'EDOT ajoute des composants ( tels que des collecteurs, des processeurs et des exportateurs) qui s'exécutent sur l'ensemble du cluster. Par conséquent, l’utilisation globale du processeur et de la mémoire augmente. Assurez-vous que votre cluster dispose de suffisamment de ressources disponibles pour prendre en charge ces composants. Vous pouvez ajuster les demandes et les limites des ressources EDOT dans le fichier de valeurs pour répondre aux exigences de votre cluster.