logstash对接kafka (待完善）-白眉大叔

logstash对接kafka:

- 模拟logstash作为kafka的生产者

1.启动kafka消费者

kafka-console-consumer.sh --bootstrap-server  192.168.1.250:9092 --topic test2

这里的ip 地址一定要注意，如果你 kafka 配置的 localhost ,那么必须是locaohost ，用ip 是行不通的。

2.启动logstash 生产数据

cd /etc/logstash/conf.d

cat logstashtokafka.conf

input {
   stdin {}
}
output {
  kafka {
    bootstrap_servers => "192.l68.1.250:9092"
    topic_id => "test2"
  }
}

我们从终端输入数据，然后会发送到 kafka 消费者接受

启动 logstash 接受终端信息：

logstash -f  /etc/logstash/conf.d/logstashtokafka.conf

1.启动生产者

[root@elk111 ~]# kafka-console-producer.sh --bootstrap-server 10.0.0.111:9092 --topic dashu86-jiaoshi02

>HAHAHAHA

>XIXIXIXI

2.启动logstash实例

[root@elk112 ~]# cat config/02-kafka-to-stdout.conf

input {

kafka {

topics => ["dashu86-jiaoshi02"]

bootstrap_servers => "10.0.0.112:9092,10.0.0.111:9092"

auto_offset_reset => "earliest"

group_id => "test02"

}

output {

stdout {}

}

[root@elk112 ~]#

[root@elk112 ~]# logstash -rf config/02-kafka-to-stdout.conf

欢迎来撩：汇总all