Senden von Daten an Elasticsearch

In diesem Thema erfahren Sie, wie Sie die Echtzeit-Datenexportfunktion von Insights mit AWS SQS nutzen, um Daten an ElasticSearch zu senden und damit Echtzeit-Überwachungsdaten in das Kibana-Dashboard einzugeben.

Bevor Sie Echtzeitüberwachungsdaten in Kibana anzeigen können, müssen die folgenden Hosts eingerichtet werden:

• Einrichten von AWS SQS

Konfigurieren von ElasticSearch für AWS SQS

Es gibt keine Out-of-the-Box-Unterstützung für ElasticSearch, das SNS-Nachrichten konsumiert. Dazu muss eine SNS -> SQS -> Elastic Pipeline konfiguriert werden. Eine SQS-Warteschlange kann als Ausgabe eines SNS-Themas konfiguriert werden. Folgen Sie dazu den Anweisungen in der offiziellen AWS-Dokumentation.

Um eine neue LogStash-Pipeline über die UI zu konfigurieren, melden Sie sich beim Kibana-Benutzer mit dem Benutzernamen elastic an, navigieren Sie zu Verwalten > LogStash-Pipeline > Pipeline erstellen und verwenden Sie das folgende Beispiel für die Pipelinevorlage:

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Hinweis:

• Der Parameter regions ist optional, aber wenn er fehlt, wird die Standardregion auf us-east-1festgelegt, und die Konfiguration schlägt fehl, wenn der SQS in einer anderen Region definiert ist.
• Für Geheimnisse wie das ElastiscSearch-Kennwort oder AWS IAM-Anmeldeinformationen sollten Sie logstash-keystoreverwenden.
• Wenn ein neuer Index erstellt wird, um ihn erkennen zu können, stellen Sie sicher, dass Sie den Index über Stapelverwaltung >Indexmuster > Indexmuster erstellen zum Indexmuster hinzufügen.

Um die Konfiguration zu testen, führen Sie den folgenden Befehl für LogStash aus, wobei test_config eine Datei mit der obigen Pipelinedefinition ist.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config