Envoi de données à Elasticsearch

Dans cette rubrique, vous pouvez apprendre à tirer parti de la fonctionnalité d'exportation de données en temps réel d'Insights avec AWS SQS pour envoyer des données à ElasticSearch et l'utiliser pour remplir des données de surveillance en temps réel dans le tableau de bord Kibana.

Avant de pouvoir commencer à afficher les données de surveillance en temps réel dans Kibana, les hôtes suivants doivent être configurés :

• Configurer AWS SQS

Configurer ElasticSearch pour AWS SQS

Elasticsearch utilisant des messages SNS n'est pas prêt à l'emploi. Pour ce faire, un pipeline SNS -> SQS -> Elastic doit être configuré. Une file d'attente SQS peut être configurée pour être la sortie d'une rubrique SNS. Pour ce faire, suivez les instructions de la documentation AWS officielle.

Pour configurer un nouveau pipeline LogStash à partir de l'interface utilisateur, connectez-vous à l'utilisateur Kibana avec le nom d'utilisateur elastic et accédez à Gérer (Manage) > Pipeline LogStash > Créer un pipeline ( Create Pipeline ) . Utilisez l'exemple suivant pour le modèle de pipeline :

input {
    sqs {
        access_key_id => "AKIARCQHHGMYMN57UFFT"
        secret_access_key => "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"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Remarque :

• Le paramètre regions est facultatif, mais s'il est manquant, la région par défaut est définie sur us-east-1et la configuration échouera si le SQS est défini dans une région différente.
• Pour les clés secrètes telles que le mot de passe ElastiscSearch ou les informations d'identification AWS IAM, envisagez d'utiliser logstash-keystore.
• Si un nouvel index est créé pour pouvoir le découvrir, assurez-vous d'ajouter l'index au modèle d'index via Stack Management > Index Patters > create Index pattern .

Pour tester la configuration, exécutez la commande suivante sur LogStash, où test_config est un fichier avec la définition de pipeline ci-dessus.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config