Elasticsearch にデータを送信する

ここでは、Insights のリアルタイムのデータ エクスポート機能を AWS SQS と共に利用して Elasticsearch にデータを送信し、そのデータを使用してリアルタイムの監視データを Kibana ダッシュボードに入力する方法について説明します。

リアルタイムの監視データを Kibana に表示し始める前に、次のホストを設定する必要があります。

• AWS SQS を設定する

ElasticSearch を AWS SQS 用に構成する

ElasticSearch で SNS メッセージを利用する場合、すぐに使えるサポートはありません。このためには、SNS -> SQS -> Elastic というパイプラインを構成する必要があります。SQS キューを SNS トピックの出力として構成できます。AWS の公式ドキュメントの手順に従ってください。

新しい LogStash パイプラインを UI から構成するには、Kibana ユーザーにユーザー名 elastic でログインし、[Manage] > [LogStash Pipeline] > [Create Pipeline] に移動し、次の例をパイプラインのテンプレートに 使用します。

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

注:

• regions パラメーターは任意ですが、指定しないと既定のリージョンが us-east-1 に設定されます。このため、SQS が別のリージョンで定義されている場合、構成が失敗します。
• ElastiscSearch のパスワードや AWS IAM の資格情報などのシークレットには、logstash-keystore を使用することを検討してください。
• 新しいインデックスを作成し、そのインデックスを検出できるようにする場合は、必ず、[Stack Management] > [Index Patters] > [Create Index pattern] を使用してインデックスをインデックス パターンに追加してください。

構成をテストするには、LogStash で次のコマンドを実行します。test_config は上記のパイプライン定義が含まれるファイルです。

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config