认识达内从这里开始

认真做教育专心促就业

ELK日志分析架构原理（三）

发布：潍坊IT培训
来源：互联网
时间：2018-07-19 14:33

    此种架构引入了消息队列机制,位于各个节点上的Logstash Agent先将数据/日志传递给Kafka(或者Redis),并将队列中消息或数据间接传递给Logstash,Logstash过滤、分析后将数据传递给Elasticsearch存储.最后由Kibana将日志和数据呈现给用户.因为引入了Kafka(或者Redis),所以即使远端Logstash server因故障停止运行,数据将会先被存储下来,从而避免数据丢失.-潍坊IT培训负责整理
    时常会有人会问,说代数差的可以学java吗?百分之百超多人具有这个顾虑,讲授这样类型的害羞先前,俺先鉴定个数学题:两地相距200米.阙鹏天从A地以1米每秒的速度向B地走,顾佳悦从B地以每秒1米的速度向a走.
    请问:她们多久后相遇?相遇的地点离B地有多远?这是一道易懂中学数学题,潍坊IT培训告诉我们,可对于代数不行的人,maybe要很想很多时间.
    可实在java说不需求你把汇总结果写出,你最好是了解他的理性思维就行.事实,要用java来去前面的害羞,你只最好是知道个对易懂的代数原型︰即加、减、乘、除和求余就行,实在和会背公式有点像.超多人没访问java的人,都认为代数不行,无法成为程序员.

实在代数跟java的联系可以解析为:精代数者,未必会java,不醒目代数,也能访问java,如欲精java,必精代数,若已醒目代数者,学java不难也.故此,代数不行从而可以学java,可会比代数好的人难,要有很大的坚韧,以前是要多去成长本人的理性和归纳态度.

潍坊IT培训

    ELK架构三
    此种架构将收集端logstash替换为beats,更灵活,消耗资源更少,扩展性更强.同时可配置Logstash 和Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询.
    Filebeat工作原理:
    Filebeat由两个主要组件组成:prospectors 和 harvesters.这两个组件协同工作将文件变动发送到指定的输出中.
    Harvester(收割机):负责读取单个文件内容.每个文件会启动一个Harvester,每个Harvester会逐行读取各个文件,并将文件内容发送到制定输出中.Harvester负责打开和关闭文件,意味在Harvester运行的时候,文件描述符处于打开状态,如果文件在收集中被重命名或者被删除,Filebeat会继续读取此文件.所以在Harvester关闭之前,磁盘不会被释放.默认情况filebeat会保持文件打开的状态,直到达到close_inactive(如果此选项开启,filebeat会在指定时间内将不再更新的文件句柄关闭,时间从harvester读取最后一行的时间开始计时.若文件句柄被关闭后,文件发生变化,则会启动一个新的harvester.关闭文件句柄的时间不取决于文件的修改时间,若此参数配置不当,则可能发生日志不实时的情况,由scan_frequency参数决定,默认10s.Harvester使用内部时间戳来记录文件最后被收集的时间.例如:设置5m,则在Harvester读取文件的最后一行之后,开始倒计时5分钟,若5分钟内文件无变化,则关闭文件句柄.默认5m).
    以上就是潍坊IT培训给大家做的内容详解,更多关于IT的学习,请继续关注潍坊IT培训

< 上一篇：ELK日志分析架构原理（二）

下一篇：ELK日志分析架构原理（四） >