Enviando dados para o Elasticsearch

Integração da exportação de dados em tempo real do Insights com AWS SQS e Elasticsearch para preencher dados de monitoramento de automação ao vivo em painéis do Kibana.

Neste tópico, você pode aprender como aproveitar o recurso de exportação de dados em tempo real do Insights com o AWS SQS para enviar dados ao ElasticSearch e usá-lo para preencher dados de monitoramento em tempo real no painel do Kibana.

Antes de começar a visualizar os dados de monitoramento em tempo real no Kibana, os seguintes hosts devem ser configurados:

• Configurar AWS SQS

Configurar ElasticSearch para AWS SQS

Não há suporte pronto para uso para o ElasticSearch consumir mensagens SNS. Para fazer isso, um pipeline SNS -> SQS -> Elastic precisa ser configurado. Uma fila SQS pode ser configurada para ser a saída de um tópico do SNS. Para fazer isso, siga as instruções da documentação oficial da AWS.

Para configurar um novo pipeline do LogStash a partir da interface gráfica, faça login no usuário do Kibana com o nome de usuário elastic e navegue até Gerenciar > Pipeline do LogStash > Criar pipeline e use o seguinte exemplo para o modelo do pipeline:

input {
    sqs {
        access_key_id => "<access_key_id>"
        secret_access_key => "<secret_access_key>"
        queue => "hztest_sns_sqs_output"
        region => "us-west-2"
      }
}
filter {
}
output {
    elasticsearch {
        index => "test_aws_sqs"
      }
}

Observação:

• O parâmetro regions é opcional, mas se estiver ausente, a região padrão será definida como us-east-1e a configuração falhará se o SQS for definido em uma região diferente.
• Para segredos como senha do ElasticSearch ou credenciais do AWS IAM, considere usar logstash-keystore.
• Se um novo índice for criado para poder descobri-lo, certifique-se de adicionar o índice ao padrão de índices por meio de Gerenciamento de pilha > Padrões de índice > criar padrão de índice.

Para testar a configuração, execute o seguinte comando no LogStash, onde test_config é um arquivo com a definição de pipeline descrita anteriormente.

/usr/share/logstash/bin/logstash --config.test_and_exit -f ./test_config