Enviar datos a Elasticsearch

En este tema aprenderá a aprovechar la característica de exportación de datos en tiempo real de Insights con AWS SQS para enviar datos a ElasticSearch y usarlos para rellenar datos de supervisión en tiempo real en el panel de Kibana.

Antes de poder empezar a ver datos de supervisión en tiempo real en Kibana, se deben configurar los siguientes hosts:

• Configurar AWS SQS

Configurar ElasticSearch para AWS SQS

No hay compatibilidad predeterminada para los mensajes de SNS que consumen ElasticSearch. Para hacer esto, se debe configurar un SNS -> SQS -> Elastic Pipeline. Se puede configurar una cola SQS para que sea la salida de un tema de SNS. Para hacerlo, siga las instrucciones de la documentación oficial de AWS.

Para configurar un nuevo proceso de LogStash desde la interfaz de usuario, inicia sesión en el usuario de Kibana con el nombre de usuario elastic y ve a Gestionar > Proceso de LogStash > Crearproceso y usa el siguiente ejemplo para la plantilla de proceso:

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Nota:

• El parámetro regions es opcional, pero si falta la región predeterminada, se establece en us-east-1y la configuración fallará si el SQS se define en una región diferente.
• Para secretos como la contraseña de ElastiscSearch o las credenciales de AWS IAM, considere usar logstash -keystore.
• Si se crea un nuevo índice para poder detectarlo, asegúrese de agregar el índice al patrón de índices a través de Gestión de pila > Patrones de índice > crear patrón de índice .

Para probar la configuración, ejecuta el siguiente comando en LogStash, donde test_config es un archivo con la definición de proceso anterior.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config