手把手教你,在CentOS上安装ELK,进行服务器日志收集( 二 )


03、基于 Filebeat 架构的配置安装由于我这边是测试环境,所以ElasticSearch + Logstash + Kibana + Nginx这四个软件我都是装在一台机器上面,如果是生产环境,建议分开部署,并且ElasticSearch可配置成集群方式 。
软件架构示意图:

手把手教你,在CentOS上安装ELK,进行服务器日志收集

文章插图
 
安装环境及版本:
  • 操作系统:centos7
  • 内存:大于或等于4G
  • ElasticSearch:6.1.0
  • Logstash:6.1.0
  • Kibana:6.1.0
  • filebeat :6.2.4
建议把所需的安装包,手动从网上下载下来,因为服务器下载ELK安装包速度像蜗牛……,非常非常慢~~,可能是国内的网络原因吧!
将手动下载下来的安装包,上传到服务器某个文件夹下 。
手把手教你,在CentOS上安装ELK,进行服务器日志收集

文章插图
 
3.1、ElasticSearch安装3.1.1、安装JDK(已经安装过,可以跳过)elasticsearch依赖JAVA开发环境支持,先安装JDK 。
yum -y install java-1.8.0-openjdk查看java安装情况
java -version
手把手教你,在CentOS上安装ELK,进行服务器日志收集

文章插图
 
3.1.2、安装ElasticSearch进入到对应上传的文件夹,安装ElasticSearch
rpm -ivh elasticsearch-6.1.0.rpm查找安装路径
rpm -ql elasticsearch一般是装在/usr/share/elasticsearch/下 。
3.1.3、设置data的目录创建/data/es-data目录,用于elasticsearch数据的存放
mkdir -p /data/es-data修改该目录的拥有者为elasticsearch
chown -R elasticsearch:elasticsearch /data/es-data3.1.4、设置log的目录创建/data/es-log目录,用于elasticsearch日志的存放
mkdir -p /log/es-log修改该目录的拥有者为elasticsearch
chown -R elasticsearch:elasticsearch /log/es-log3.1.5、修改配置文件elasticsearch.ymlvim /etc/elasticsearch/elasticsearch.yml修改如下内容:
#设置data存放的路径为/data/es-datapath.data: /data/es-data#设置logs日志的路径为/log/es-logpath.logs: /log/es-log#设置内存不使用交换分区bootstrap.memory_lock: false#配置了bootstrap.memory_lock为true时反而会引发9200不会被监听,原因不明#设置允许所有ip可以连接该elasticsearchnetwork.host: 0.0.0.0#开启监听的端口为9200http.port: 9200#增加新的参数,为了让elasticsearch-head插件可以访问es (5.x版本,如果没有可以自己手动加)http.cors.enabled: truehttp.cors.allow-origin: "*"3.1.6、启动elasticsearch启动
systemctl start elasticsearch查看状态
systemctl status elasticsearch设置开机启动
systemctl enable elasticsearch启动成功之后,测试服务是否开启
curl -X GET http://localhost:9200返回如下信息,说明安装、启动成功了
 
手把手教你,在CentOS上安装ELK,进行服务器日志收集

文章插图
 
 
3.2、Logstash安装3.2.1、安装logstashrpm -ivh logstash-6.1.0.rpm3.2.2、设置data的目录创建/data/ls-data目录,用于logstash数据的存放
mkdir -p /data/ls-data修改该目录的拥有者为logstash
chown -R logstash:logstash /data/ls-data3.2.3、设置log的目录创建/data/ls-log目录,用于logstash日志的存放
mkdir -p /log/ls-log修改该目录的拥有者为logstash
chown -R logstash:logstash /log/ls-log3.2.4、设置conf.d的目录,创建配置文件#进入logstash目录cd /etc/logstash#创建conf.d的目录mkdir conf.d创建配置文件,日志内容输出到elasticsearch中,如下
vim /etc/logstash/conf.d/logstash.conf内容如下:
input {beats {port => 5044codec => plain {charset => "UTF-8"}}}output {elasticsearch { hosts => ["localhost:9200"] }stdout { codec => rubydebug }}3.2.5、修改配置文件logstash.ymlvim /etc/logstash/logstash.yml内容如下:
# 设置数据的存储路径为/data/ls-datapath.data: /data/ls-data# 设置管道配置文件路径为/etc/logstash/conf.dpath.config: /etc/logstash/conf.d# 设置日志文件的存储路径为/log/ls-logpath.logs: /log/ls-log3.2.6、启动logstash启动
systemctl start logstash查看
systemctl status logstash设置开机启动
systemctl enable logstash3.2.7、测试logstash--config.test_and_exit表示,检查测试创建的logstash.conf配置文件,是否有问题,如果没有问题,执行之后,显示Configuration OK 证明配置成功!


推荐阅读