将 Kubernetes 日志转发到 Elasticsearch

将 Kubernetes 基础架构和应用程序日志从 Automation Suite 转发到 Elasticsearch，包括可用选项和推荐方法。

Automation Suite 支持将 Kubernetes 基础架构和应用程序日志转发到外部可观察性平台。

本节介绍如何将日志转发到 Elasticsearch，说明了可用选项，并概述了大多数情况下的建议方法。

备注：

本节介绍转发 Kubernetes Pod 日志。

有关转发机器人日志的信息，请参阅将机器人日志保存到 Elasticsearch 。

选择日志转发选项

Elastic 提供了多个代理和运算符，可用于从 Kubernetes 提取日志。您可以根据您的 Elastic Stack 版本选择最合适的机制：

• Filebeat （传统方法） Filebeat 是收集 Kubernetes 日志并将其传输到 Elasticsearch 的传统方法。它适用于较旧的 Elasticsearch 版本（7.x 和 8.x 早期版本）。有关详细信息，请参阅官方Elastic 文档。
• Elastic Agent (Unified Agent) Elastic Agent 可从任何位置收集所有形式的数据，每台主机使用一个统一代理。建议用于 Elastic Stack 8.x。有关详细信息，请参阅官方Elastic 文档。
• Elastic Distribution of OpenTelemetry (EDOT)建议新安装和使用 Elasticsearch 8.16 及更高版本的环境使用 EDOT（Elastic Distribution of OpenTelemetry）。

推荐使用 EDOT，原因如下：

• 完全符合 OpenTelemetry 要求
• 由 Elastic 开发和提供支持
• 易于操作（Helm 图表和 CRD）
• 面向未来（Elastic 已宣布采用 OTel 优先策略）

要在 Automation Suite 集群中安装 EDOT，请按照官方Elastic 文档中提供的说明进行操作。

自定义 EDOT 配置

您可以修改 EDOT 值文件以匹配您的环境和日志记录要求。

在 EDOT 值文件中找到相应部分，并根据需要进行更新。仅应用与您的设置相关的内容。

重要提示：

有关完整配置选项，请参阅官方 Elasticsearch 和 EDOT 文档。

以下示例显示了常见的自定义项：

• 要排除噪声日志或大批量日志，请参阅以下配置示例：

  config:
    receivers:
      filelog:
        exclude:
            - /var/log/pods/opentelemetry-operator-system_opentelemetry-kube-stack*/*/*.log
            - /var/log/pods/*/*/istio-proxy/*.log
            - /var/log/pods/*/*/istio-init/*.log
            - /var/log/pods/*/*/aicenter-hit-count-update/*.log
            - /var/log/pods/*/*/istio-configure-executor/*.log
            - /var/log/pods/*/*/on-prem-tenant-license-update/*.log
            - /var/log/pods/*/*/curl/*.log
            - /var/log/pods/*/*/recovery/*.log
            - /var/log/pods/*/*/aicenter-oob-scheduler/*.log
            - /var/log/pods/*/*/cert-trustor/*.log
            - /var/log/pods/default_*/*.log
            - /var/log/pods/fleet-system_*/*.log
            - /var/log/pods/gatekeeper_*/*.log
  

• 要在开发设置中使用自签名证书时配置 TLS 设置，请参阅以下配置示例：

  config:
    exporters:
      elasticsearch/otel:
        tls:
          insecure_skip_verify: true
  

请仅在 non-production 环境中使用此选项。

• 要禁用指标和追踪并使用仅日志模式，请参阅以下配置示例：

  config:
    service:
      pipelines:
        metrics: null
        traces: null
  

部署 EDOT 会添加在集群中运行的组件（例如收集器、处理器和导出器）。因此，CPU 和内存的整体使用率会增加。确保您的集群有足够的可用资源来支持这些组件。您可以在值文件中调整 EDOT 资源请求和限制，以满足集群的要求。