江苏龙网

  1. 主页 > 生活百科 > >

基于ELK一次集群实战( 三 )

ELK

基于ELK一次集群实战
文章插图
我们把配置复制到Logstash

基于ELK一次集群实战

文章插图
input {    # 从文件读取日志信息 输送到控制台    file {        path => "/opt/elasticsearch/logs/my-yang.log"        codec => "json" ## 以JSON格式读取日志        type => "elasticsearch"        start_position => "beginning"    }} #可以多个input output# filter {## } output {    # 标准输出    # stdout {}    # 输出进行格式化，采用Ruby库来解析日志       stdout { codec => rubydebug }         elasticsearch {        hosts => ["192.168.85.185:9200"]        index => "es-%{+YYYY.MM.dd}"    }      }
启动
基于ELK一次集群实战

文章插图
启动成功后就是这样 。我的电脑卡分屏啦，es还是很吃电脑内存的 。
基于ELK一次集群实战

文章插图

这边的es停掉过后Kiabana 这边会报错，意思先启动es在启动Kiabana
基于ELK一次集群实战

文章插图
启动成功后自动同步es日志 。到这一步基本上就成功了 。logstash通过把日志转换成json的方式输出到es索引里面，索引不会丢失做了集群，这样就可以做日志收集啦，是不是很nice
基于ELK一次集群实战

文章插图
我们通过Kiabana查询索引这个就是我们日志自动生成的索引，已经可以搜索日志了大功告成！！
 
基于ELK一次集群实战

文章插图
下面给大家演示一个es高可用
我停掉一个es,然后剩下2台【基于ELK一次集群实战】192.168.85.188为主180为从
基于ELK一次集群实战

文章插图
我们可以看到es走的取模算法的方式把不通的索引文档放在不通的集群节点的机器里面，保证了高可用 。
基于ELK一次集群实战

文章插图
直到最后一台es:
基于ELK一次集群实战

文章插图
我们可以还是查询到数据
基于ELK一次集群实战

文章插图
es高可用原理：
 
基于ELK一次集群实战

文章插图
总结:1，es集群会出现的问题，节点数据不同步 。
删除data/nodes节点信息
2，Logstash日志收集可能出现不同步问题 。
日志目录不对，权限没有指定到用户组用户信息 。
3，其他问题
创作不易感谢大家支持，侵权必究 。欢迎指正讨论，你的支持是我的动力 。
 



推荐阅读


上一篇：诸葛亮的三个徒弟分别是谁?,诸葛亮有几个师傅

下一篇：光绪帝为什么叫亲爸爸?为什么喊慈禧叫亲爸爸_1