Enviando dados para o Elasticsearch

Neste tópico, você pode aprender como aproveitar o recurso de exportação de dados em tempo real do Insights com o AWS SQS para enviar dados ao ElasticSearch e usá-lo para preencher dados de monitoramento em tempo real no painel do Kibana.

Antes de começar a visualizar os dados de monitoramento em tempo real no Kibana, os seguintes hosts devem ser configurados:

• Configurar AWS SQS

Configurar ElasticSearch para AWS SQS

Não há suporte pronto para uso para o ElasticSearch que consome mensagens SNS. Para fazer isso, um pipeline SNS -> SQS -> Elastic precisa ser configurado. Uma fila SQS pode ser configurada para ser a saída de um tópico SNS. Para fazê-lo, siga as instruções da documentação oficial da AWS.

Para configurar um novo pipeline do LogStash a partir da UI, faça login no usuário do Kibana o nome de usuário elastic e navegue até Gerenciar > Pipeline do LogStash > Criar Pipeline e use o seguinte exemplo para o modelo do pipeline:

input {
    sqs {
        access_key_id => "AKIARCQHHGMYMN57UFFT"
        secret_access_key => "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"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Observação:

• O parâmetro regions é opcional, mas se estiver ausente, a região padrão será definida como us-east-1e a configuração falhará se o SQS for definido em uma região diferente.
• Para segredos como a senha do Elasticsearch ou credenciais do AWS IAM, considere usar o logstash-keystore.
• Se um novo índice for criado para poder descobri-lo, certifique-se de adicionar o índice ao padrão de índices por meio de Gerenciamento de pilha > Padrões de índice > criar padrão de índice .

Para testar a configuração, execute o seguinte comando no LogStash, em que test_config é um arquivo com a definição de pipeline acima.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config