将数据发送到 Elasticsearch

在本主题中，您可以了解如何利用 AWS SQS 的 Insights 实时数据导出功能将数据发送到 ElasticSearch ，并使用它将实时监控数据填充到 Kibana 仪表板中。

在开始在 Kibana 中查看实时监控数据之前，必须设置以下主机：

• 设置 AWS SQS

为 AWS SQS 配置 ElasticSearch

对于使用 SNS 消息的 ElasticSearch，没有开箱即用的支持。 为此，需要配置 SNS -> SQS -> Elastic 管道。 SQS 队列可以配置为 SNS 主题的输出。 为此，请按照官方 AWS 文档中的说明进行操作。

要从用户界面配置新的 LogStash 管道，请使用elastic用户名登录 Kibana 用户，然后导航到“管理” > “LogStash 管道” >“创建管道”，然后将以下示例用于管道模板：

input {
    sqs {
        access_key_id => "AKIARCQHHGMYMN57UFFT"
        secret_access_key => "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"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

备注：

• regions 参数是可选参数，但如果缺少默认区域，则会将默认区域设置为 us-east-1，并且如果 SQS 在其他区域中定义，则配置将失败。
• 对于 ElasticSearch 密码或 AWS IAM 凭据等密码，请考虑使用logstash-keystore 。
• 如果创建了新索引以便能够发现它，请确保通过“ 堆栈管理 ”>“ 索引 模式”>“ 创建索引模式 ”将索引添加到索引模式中。

要测试配置，请在 LogStash 上运行以下命令，其中 test_config 是具有上述管道定义的文件。

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config