Kubernetes ログを Elasticsearch に転送する

Automation Suite から Kubernetes インフラストラクチャとアプリケーション ログを Elasticsearch に転送する (利用可能なオプションと推奨されるアプローチを含む)。

Automation Suite は、Kubernetes インフラストラクチャとアプリケーション ログの外部オブザーバビリティ プラットフォームへの転送をサポートします。

このセクションでは、ログを Elasticsearch に転送する方法、利用可能なオプション、およびほとんどのシナリオで推奨されるアプローチの概要について説明します。

注:

このセクションでは、Kubernetes ポッド ログの転送について説明します。

ロボット ログを転送する方法については、「ロボット ログを Elasticsearch に保存する」をご覧ください。

ログ転送オプションを選択する

Elastic は、Kubernetes からログを収集する複数のエージェントと演算子を提供します。Elastic Stack のバージョンに応じて、最適なメカニズムを選択できます。

• Filebeat (従来のアプローチ) Filebeat は、Kubernetes ログを収集して Elasticsearch に配布するための従来の方法でした。古いバージョンの Elasticsearch (7.x および初期 8.x) に適しています。詳しくは、 Elastic の公式ドキュメントをご覧ください。
• Elastic Agent (統合エージェント): Elastic Agent は、ホストごとに 1 つの統合エージェントを使用して、あらゆる形態のデータをどこからでも収集します。Elastic Stack 8.x に推奨されます。詳しくは、 Elastic の公式ドキュメントをご覧ください。
• OpenTelemetry のエラスティック分散 (EDOT) EDOT (Elastic Distribution of OpenTelemetry) は、新規インストールおよび Elasticsearch 8.16+ を使用する環境に推奨されます。

EDOT は、以下の理由から推奨されています。

• OpenTelemetry に完全に準拠
• Elastic が開発とサポートを実施
• 操作が簡単 (Helm チャートおよび CRD)
• 将来に備えた対応力 (Elastic は OTel ファースト戦略を発表)

EDOT を Automation Suite クラスターにインストールするには、Elastic の公式ドキュメントに記載されている手順に従います。

EDOT 構成をカスタマイズする

EDOT の値ファイルを、環境やログ要件に合わせて変更できます。

EDOT の値ファイル内で対応するセクションを見つけ、必要に応じて更新します。設定に関連するものだけを適用します。

重要:

完全な構成オプションについては、Elasticsearch と EDOT の公式ドキュメントをご覧ください。

次の例は、一般的なカスタマイズを示しています。

• ノイズの多いログや大量のログを除外するには、次の設定例を参照してください。

  config:
    receivers:
      filelog:
        exclude:
            - /var/log/pods/opentelemetry-operator-system_opentelemetry-kube-stack*/*/*.log
            - /var/log/pods/*/*/istio-proxy/*.log
            - /var/log/pods/*/*/istio-init/*.log
            - /var/log/pods/*/*/aicenter-hit-count-update/*.log
            - /var/log/pods/*/*/istio-configure-executor/*.log
            - /var/log/pods/*/*/on-prem-tenant-license-update/*.log
            - /var/log/pods/*/*/curl/*.log
            - /var/log/pods/*/*/recovery/*.log
            - /var/log/pods/*/*/aicenter-oob-scheduler/*.log
            - /var/log/pods/*/*/cert-trustor/*.log
            - /var/log/pods/default_*/*.log
            - /var/log/pods/fleet-system_*/*.log
            - /var/log/pods/gatekeeper_*/*.log
  

• 開発設定で自己署名証明書を使用する場合の TLS 設定を構成するには、次の設定例を参照してください。

  config:
    exporters:
      elasticsearch/otel:
        tls:
          insecure_skip_verify: true
  

これは、非運用環境でのみ使用してください。

• メトリックとトレースを無効化し、ログ専用モードを使用するには、次の設定例を参照してください。

  config:
    service:
      pipelines:
        metrics: null
        traces: null
  

EDOT をデプロイすると、クラスター全体で実行されるコンポーネント (コレクター、プロセッサ、エクスポーターなど) が追加されます。その結果、全体的な CPU とメモリの使用量が増加します。クラスターに、これらのコンポーネントをサポートするのに十分なリソースがあることを確認してください。クラスターの要件を満たすために、値ファイル内の EDOT リソースのリクエストと制限を調整できます。