Envoi de données à Elasticsearch

Intégration de l'exportation de données en temps réel d'Insights avec AWS SQS et Elasticsearch pour remplir des données de surveillance d'automatisation en direct dans les tableaux de bord Kibana.

Dans cette rubrique, vous pouvez apprendre à tirer parti de la fonctionnalité d'exportation de données en temps réel d'Insights avec AWS SQS pour envoyer des données à ElasticSearch et l'utiliser pour remplir des données de surveillance en temps réel dans le tableau de bord Kibana.

Avant de pouvoir commencer à afficher les données de surveillance en temps réel dans Kibana, les hôtes suivants doivent être configurés :

• Configurer AWS SQS

Configurer ElasticSearch pour AWS SQS

Il n'existe aucune prise en charge prête à l'emploi pour ElasticSearch qui utilise des messages SNS. Pour ce faire, un pipeline SNS -> SQS -> Elastic doit être configuré. Une file d'attente SQS peut être configurée pour être la sortie d'une rubrique SNS. Pour ce faire, suivez les instructions de la documentation officielle d'AWS.

Pour configurer un nouveau pipeline Logstash à partir de l'interface utilisateur, connectez-vous à l'utilisateur Kibana avec le nom d'utilisateur elastic et accédez à Gérer > Pipeline Logstash > Créer un pipeline et utilisez l'exemple suivant pour le modèle de pipeline:

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Remarque :

• Le paramètre regions est facultatif, mais s'il est manquant, la région par défaut est définie sur us-east-1et la configuration échouera si le SQS est défini dans une région différente.
• Pour les secrets tels que le mot de passe ElasticSearch ou les informations d’identification AWS IAM, envisagez d’utiliser journalstash-keystore.
• Si un nouvel index est créé pour pouvoir le découvrir, assurez-vous d'ajouter l'index au modèle d'index via Gestion de la pile > Modèles d'index > créer un modèle d'index.

Pour tester la configuration, exécutez la commande suivante sur LogStash, où test_config est un fichier avec la définition de pipeline décrite précédemment.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config