将数据发送到 Elasticsearch

Insights 实时数据导出与 AWS SQS 和 Elasticsearch 集成，用于在 Kibana 仪表板中填充实时自动化监控数据。

在本主题中，您可以了解如何利用 Insights 实时数据导出功能与 AWS SQS 将数据发送到ElasticSearch ，并使用它将实时监控数据填充到“Kibana”仪表板中。

在开始在 Kibana 中查看实时监控数据之前，必须设置以下主机：

• 设置 AWS SQS

为 AWS SQS 配置 ElasticSearch

对于使用 SNS 消息的 ElasticSearch，没有开箱即用的支持。为此，需要配置 SNS -> SQS -> Elastic 管道。SQS 队列可以配置为 SNS 主题的输出。为此，请按照官方 AWS 文档中的说明进行操作。

要从用户界面配置新的 LogStash 管道，请使用elastic用户名登录到 Kibana 用户，然后导航至“管理”>“LogStash 管道”>“创建管道”，然后使用以下示例创建管道模板：

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

备注：

• regions 参数是可选参数，但如果缺少默认区域，则会将默认区域设置为 us-east-1，并且如果 SQS 在其他区域中定义，则配置将失败。
• 对于 ElasticSearch 密码或 AWS IAM 凭据等机密信息，请考虑使用logstash-keystore 。
• 如果已创建新索引才能发现该索引，请确保通过“堆栈管理”>“索引模式”>“创建索引模式”将索引添加到索引模式中。

要测试配置，请在 LogStash 上运行以下命令，其中test_config是具有前述管道定义的文件。

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config