Enviar datos a Elasticsearch

En este tema aprenderá a aprovechar la característica de exportación de datos en tiempo real de Insights con AWS SQS para enviar datos a ElasticSearch y usarlos para rellenar datos de supervisión en tiempo real en el panel de Kibana.

Antes de poder empezar a ver datos de supervisión en tiempo real en Kibana, se deben configurar los siguientes hosts:

• Configurar AWS SQS

Configurar ElasticSearch para AWS SQS

No hay soporte listo para usar para ElasticSearch que consume mensajes SNS. Para ello, es necesario configurar un proceso SNS -> SQS -> Elastic. Se puede configurar una cola de SQS para que sea la salida de un tema de SNS. Para ello, sigue las instrucciones de la documentación oficial de AWS.

Para configurar un nuevo proceso de LogStash desde la interfaz de usuario, inicia sesión en el usuario de Kibana con el nombre de usuario elastic y ve a Gestionar > Proceso de LogStash > Crearproceso y utiliza el siguiente ejemplo para la plantilla del proceso:

input {
    sqs {
        access_key_id => "AKIARCQHHGMYMN57UFFT"
        secret_access_key => "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"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Nota:

• El parámetro regions es opcional, pero si falta la región predeterminada, se establece en us-east-1y la configuración fallará si el SQS se define en una región diferente.
• Para secretos como la contraseña de ElastiscSearch o las credenciales de IAM de AWS, considera la posibilidad de utilizar logstash-keystore.
• Si se crea un nuevo índice para poder detectarlo, asegúrese de agregar el índice al patrón de índices a través de Gestión de pila > Patrones de índice > crear patrón de índice .

Para probar la configuración, ejecuta el siguiente comando en LogStash, donde test_config es un archivo con la definición de proceso anterior.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config