将数据发送到 Elasticsearch

在本主题中，您可以了解如何利用 AWS SQS 的 Insights 实时数据导出功能将数据发送到 ElasticSearch ，并使用它将实时监控数据填充到 Kibana 仪表板中。

在开始在 Kibana 中查看实时监控数据之前，必须设置以下主机：

• 设置 AWS SQS

为 AWS SQS 配置 ElasticSearch

对于使用 SNS 消息的 ElasticSearch，没有开箱即用的支持。 为此，需要配置 SNS -> SQS -> 弹性管道。 可以将 SQS 队列配置为 SNS 主题的输出。 为此，请按照 AWS 官方文档中的说明进行操作。

要从用户界面配置新的 LogStash 管道，请使用 elastic 用户名登录 Kibana 用户，然后导航到“ 管理 ” > “LogStash 管道 ” > “ 创建管道 ”，并将以下示例用于管道模板：

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

备注：

• regions 参数是可选参数，但如果缺少默认区域，则会将默认区域设置为 us-east-1，并且如果 SQS 在其他区域中定义，则配置将失败。
• 对于 ElastiscSearch 密码或 AWS IAM 凭证等密码，请考虑使用 logstash-keystore。
• 如果创建了新索引以便能够发现它，请确保通过“ 堆栈管理 ”>“ 索引 模式”>“ 创建索引模式 ”将索引添加到索引模式中。

要测试配置，请在 LogStash 上运行以下命令，其中 test_config 是具有上述管道定义的文件。

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config