linux 安装 es 组件 logstash
需要JDK的环境:https://www.baimeidashu.com/9760.html
1.下载logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-x86_64.rpm
2.安装logstash并创建符号链接2 .
rpm -ivh logstash-7.17.5-x86_64.rpm
ln -sv /usr/share/logstash/bin/logstash /usr/local/sbin/
备注: -s 是创建软连接, -v 是 输出过程
3.基于命令行运行logstash的配置参数,并指定日志级别
logstash -e "input { stdin { type => stdin } } output { stdout { codec => rubydebug } }" --log.level warn
4.编写配置文件并检查语法
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat test.conf
input{
stdin{
type => stdin
}
}
output{
stdout{
codec => rubydebug
}
}
基于文件启动logstash:
logstash -f /etc/logstash/conf.d/test.conf --log.level fatal
这样 logstash 就安装成功了。
其他 收集日志:
2.使用logstash采集nginx日志并到标准输出
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat nginxlog.conf
input{
file{
path => ["/var/log/nginx/*.log"]
type => stdin
}
}
output{
stdout{
codec => rubydebug
}
}
3. 输出指定 es 的 配置文件:
[root@baimeidashu-elk113 /etc/logstash/conf.d]#cat es.conf
input{
file{
id => "nginx-001"
path => ["/var/log/nginx/*.log"]
#type => stdin
}
}
output{
elasticsearch {
# 指定ES的主机地址
hosts => ["10.0.0.111:19200","10.0.0.112:19200","10.0.0.113:19200"]
# 自定义写入数据的索引,时间变量参考:
# https://www.joda.org/joda-time/apidocs/org/joda/time/format/DateTimeFormat.html
index => "baimei-nginx-%{+yyyy.MM.dd}"
# index => "baimei-linux86-nginx-%{+yyyy.MM.dd}.year-week-%{+ee}.week-day-%{+w}"
}
}
启动logstash
logstash -rf /etc/logstash/conf.d/es.conf
es , 然后 给 nginx 日志添加数据
我们在kibana 中可以看到 索引了:
lodstash 读文件后 默认的记录路径:
这个路径默认是 放在这里,
/usr/share/logstash/data/plugins/inputs/file/
如果你启动logstash 的时候 加数据目录就不一样了。
logstash -rf /etc/logstash/conf.d/2nginx-filter-es.conf --path.data /tmp/11
vim .sincedb_df5ae0d18161177fc305494571a52fca
其他配置:
/etc/logstash/jvm.options
堆内存
欢迎来撩 : 汇总all