ELK日志分析系统Docker环境配置

by Web全栈工程师 on 2017 年 01 月 09 日

ELK介绍

ELK是elastic公司提供的一套完整的数据收集、处理、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。ELK是目前比较新也发展比较快的一套数据分析套件,很多大规模互联网企业也采用ELK作为其日志分析架构。

  • ElasticSearch简称ES,它是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写。
  • Logstash是一个具有实时传输能力的数据收集引擎,它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
  • Kibana为Elasticsearch 提供了可视化数据展示平台,基于Web。它可以在Elasticsearch的索引中查找,交互数据,并生成各种维度表格、图形。

ELK部署

ELK框架的工作流程是Logstash agent监控并采集日志,将采集的日志内容发给redis(不做存储),logstash index将日志手机在一起交给全文搜索服务ES,然后我们可以用ES进行自定义检索,通过Kibana来结合即可用过可视化界面进行展示。

使用docker部署,部署文档参考:
http://elk-docker.readthedocs.io/
https://github.com/deviantony/docker-elk

Filebeat 推送日志

Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件,并且它可以转发这些信息到elasticsearch或者logstash中存放。

原创文章,转载请注明:转载自Web开发笔记 | ELK日志分析系统Docker环境配置

本文链接地址:https://www.magentonotes.com/docker-elk.html

Leave a Comment

Previous post:

Next post: