Senden von Daten an Elasticsearch

Die Echtzeit-Datenexportintegration von Insights mit AWS SQS und Elasticsearch zum Ausfüllen von Live-Automatisierungsüberwachungsdaten in Kibana-Dashboards.

In diesem Thema erfahren Sie, wie Sie die Echtzeitdatenexportfunktion von Insights mit AWS SQS nutzen, um Daten an ElasticSearch zu senden und damit Echtzeitüberwachungsdaten in das Kibana-Dashboard einzufügen.

Bevor Sie Echtzeitüberwachungsdaten in Kibana anzeigen können, müssen die folgenden Hosts eingerichtet werden:

• Einrichten von AWS SQS

Konfigurieren von ElasticSearch für AWS SQS

Es gibt keine Out-of-the-Box-Unterstützung für ElasticSearch, die SNS-Nachrichten verbraucht. Dazu muss eine SNS -> SQS -> Elastic Pipeline konfiguriert werden. Eine SQS-Warteschlange kann so konfiguriert werden, dass sie die Ausgabe eines SNS-Thema ist. Befolgen Sie dazu die Anweisungen in der offiziellen AWS-Dokumentation.

Um eine neue LogStash-Pipeline über die Benutzeroberfläche zu konfigurieren, melden Sie sich beim Kibana-Benutzer mit dem Benutzernamen elastic an, navigieren Sie zu Verwalten > LogStash-Pipeline > Pipeline erstellen und verwenden Sie das folgende Beispiel für die Pipelinevorlage:

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Hinweis:

• Der Parameter regions ist optional, aber wenn er fehlt, wird die Standardregion auf us-east-1festgelegt, und die Konfiguration schlägt fehl, wenn der SQS in einer anderen Region definiert ist.
• Für Geheimnisse wie das ElastiscSearch-Kennwort oder AWS IAM-Anmeldeinformationen sollten Sie logstash-keystore verwenden.
• Wenn ein neuer Index erstellt wird, um ihn erkennen zu können, stellen Sie sicher, dass Sie den Index über Stack Management > Index Patterns > Create Index Pattern zum Indexmuster hinzufügen.

Um die Konfiguration zu testen, führen Sie den folgenden Befehl in LogStash aus, wobei test_config eine Datei mit der zuvor beschriebenen Pipelinedefinition ist.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config