Senden von Daten an Elasticsearch

In diesem Thema erfahren Sie, wie Sie die Echtzeit-Datenexportfunktion von Insights mit AWS SQS nutzen, um Daten an ElasticSearch zu senden und damit Echtzeit-Überwachungsdaten in das Kibana-Dashboard einzugeben.

Bevor Sie Echtzeitüberwachungsdaten in Kibana anzeigen können, müssen die folgenden Hosts eingerichtet werden:

• Einrichten von AWS SQS

Konfigurieren von ElasticSearch für AWS SQS

Es gibt keine sofort einsatzbereite Unterstützung für ElasticSearch, die SNS-Nachrichten verbraucht. Dazu muss eine SNS -> SQS -> Elastic Pipeline konfiguriert werden. Eine SQS-Warteschlange kann als Ausgabe eines SNS-Themas konfiguriert werden. Folgen Sie dazu den Anweisungen in der offiziellen AWS-Dokumentation.

Um eine neue LogStash-Pipeline über die Benutzeroberfläche zu konfigurieren, melden Sie sich beim Kibana-Benutzer mit dem Benutzernamen elastic an, navigieren Sie zu Verwalten > LogStash-Pipeline > Pipeline erstellen und verwenden Sie das folgende Beispiel für die Pipelinevorlage:

input {
    sqs {
        access_key_id => "AKIARCQHHGMYMN57UFFT"
        secret_access_key => "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"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Hinweis:

• Der Parameter regions ist optional, aber wenn er fehlt, wird die Standardregion auf us-east-1festgelegt, und die Konfiguration schlägt fehl, wenn der SQS in einer anderen Region definiert ist.
• Für geheime Schlüssel wie das Elasticsearch-Kennwort oder AWS IAM-Anmeldeinformationen sollten Sie logstash-keystore verwenden.
• Wenn ein neuer Index erstellt wird, um ihn erkennen zu können, stellen Sie sicher, dass Sie den Index über Stapelverwaltung >Indexmuster > Indexmuster erstellen zum Indexmuster hinzufügen.

Um die Konfiguration zu testen, führen Sie den folgenden Befehl für LogStash aus, wobei test_config eine Datei mit der obigen Pipelinedefinition ist.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config