logstash 安装部署

linux  安装 es 组件  logstash

需要JDK的环境：https://www.baimeidashu.com/9760.html

1.下载logstash

 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-x86_64.rpm 

2.安装logstash并创建符号链接2 .

rpm -ivh logstash-7.17.5-x86_64.rpm

ln -sv /usr/share/logstash/bin/logstash /usr/local/sbin/

备注： -s 是创建软连接，  -v 是 输出过程

3.基于命令行运行logstash的配置参数，并指定日志级别

logstash -e "input { stdin { type => stdin } }   output { stdout { codec => rubydebug } }" --log.level warn

 

4.编写配置文件并检查语法

[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat test.conf 
input{
stdin{
type => stdin
}
}

output{
stdout{
codec => rubydebug
}
}

 

基于文件启动logstash：

logstash -f /etc/logstash/conf.d/test.conf  --log.level fatal

这样 logstash 就安装成功了。

 

其他 收集日志：

2.使用logstash采集nginx日志并到标准输出

[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat nginxlog.conf 
input{
 file{
path => ["/var/log/nginx/*.log"]
type => stdin
}
}

output{
stdout{
codec => rubydebug
}
}

 

3. 输出指定 es 的 配置文件：

[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat es.conf 
input{
 file{
id => "nginx-001"
path => ["/var/log/nginx/*.log"]
#type => stdin
}
}

output{
  elasticsearch {
    # 指定ES的主机地址
    hosts => ["10.0.0.111:19200","10.0.0.112:19200","10.0.0.113:19200"]
    # 自定义写入数据的索引,时间变量参考: 
    #    https://www.joda.org/joda-time/apidocs/org/joda/time/format/DateTimeFormat.html
    index => "baimei-nginx-%{+yyyy.MM.dd}"
    # index => "baimei-linux86-nginx-%{+yyyy.MM.dd}.year-week-%{+ee}.week-day-%{+w}"
  }                                                                                                                                                                                           
}

 

启动logstash

logstash -rf /etc/logstash/conf.d/es.conf 

 

 

es ， 然后 给 nginx 日志添加数据

 

我们在kibana 中可以看到 索引了：

 

lodstash 读文件后 默认的记录路径：

 

 

这个路径默认是 放在这里，

/usr/share/logstash/data/plugins/inputs/file/

 

如果你启动logstash 的时候 加数据目录就不一样了。

logstash -rf /etc/logstash/conf.d/2nginx-filter-es.conf --path.data /tmp/11

 

vim .sincedb_df5ae0d18161177fc305494571a52fca

 

其他配置：

/etc/logstash/jvm.options

 

堆内存

欢迎来撩 ： 汇总all