ELK日志分析系统初体验

ELK

logstash

elasticsearch

kibana

ELK技术栈要点总结

官方文档之安装教程

Mac第三方工具安装

$ brew install logstash

********启动命令********

$ bin/logstash -f logstash-example.conf

Logstash根据logstash-example.conf配置文件对数据源进行数据读取和清洗，并将清洗结果写入指定的目标文件。

logstash命令除了可以使用“-f”指定配置文件外，还可以指定其他参数，具体说明可以参见 官方文档之Command Flags 。

Logstash除了通过命令行参数进行配置外，还可以在logstash.yml等setting文件中进行设置，具体说明参见 官方文档之Setting files

配置文件

配置文件结构清晰，但所涉及的插件种类繁多，而且在插件使用过程中还涉及 环境变量使用 和 条件语句使用 等内容。用户可根据需要选择适当的插件和语法实现数据收集和清洗的目标。

##1.2 Elasticsearch****技术

****Cluster****与****Node****

****Index****、****Type****与****Document****

****Shards****与****Replicas****

********启动命令********

$ bin/elasticsearch前端方式启动

$ bin/elasticsearch -d 守护进程方式启动

elasticsearch启动比较简单，也额外创建配置文件，它将收集的数据重新编排存储，以支持数据的全文检索。检索是Elasticsearch最为重要的功能，也是最为复杂的语法。

********需要注意的是：********elasticsearch不支持在root用户下启动，因此，在启动前，用户需要创建非root用户，并为该用户赋予elasticsearch目录的操作权限，详情参见 https://my.oschina.net/topeagle/blog/591451?fromerr=mzOr2qzZ

********配置管理********

Elasticsearch一般不需额外配置，但是为了提高Elasticsearch性能可以通过elasticsearch.yml文件修改配置参数。当然，也可以根据用户系统配置降低配置参数，如jvm.heapsize。Elasticsearch默认占用2G内存，对于系统配置较低的服务器，很可能带来负载过大的问题，因此需要适当减少jvm.heapsize。

Elasticsearch提供大量的API支持检索服务，用户甚至可以根据需要定制化 分析器 、 映射器 .

##1.3 Kibana****技术

********安装********

参见 官方教程 ，值得注意的是Kibana与Elasticsearch版本要保持一致。

********启动********

********配置********

Kibana配置可以通过命令行参数或配置文件 kibana.yml 。Kibana应用的默认地址为localhost，无法从远程访问Kibana，因此，用户需要修改配置文件的server.host属性。

********数据检索********

（1）时间筛选：限定检索的时间范围

（2）index pattern：限定检索的数据范围

（3）字段筛选：限定特殊字段以及特殊字段值

（4）搜索框：采用Elasticsearch检索语法查询

********数据分析********

数据分析是Elasticsearch与Kibana的核心模块，Elasticsearch提供分析功能，kibana提供图形渲染功能。

数据分析需要涉及Elasticsearch的 Aggregation 、 Mapping 、 Analysis 和Kibana的 Visualize 和 Dashboard 等模块，内容相对比较复杂，用户可根据实际需要适当选择。

Kibana的Visualize是基于Elasticsearch聚合结果进行图形化展示，支持AreaChart、DataTable、PieChart等图表结构。Dashboard则是将多个visualize综合展示，并配注markdown记录，形成完整的数据分析报告。

#2 ****日志分析系统

##2.1 ****基于阿里云****NAS****的日志分析系统架构设计

********日志生成：********对于Java和Node应用，分别采用Logback与winston日志框架生成日志，注意，日志采用json格式单行存储（一行json对应一条日志）

********日志存储：********分布式应用的日志采用NAS统一存储，减少因日志分散保存而带来数据收集的高复杂度。

********日志收集与清洗：********基于Logback的Pipeline功能，从NAS读取日志数据，并通过 filter插件进行日志的格式化清洗，并将清洗结果传送到Elasticsearch。

********日志重排与存储：********Elasticsearch将收集的数据进行重排，以支持符合elasticsearch检索语法。并将重排数据予以保存，同事可以通过集群、分片（Shards、Replicas）等进行冗余存储。

********日志分析与检索：********通过Elasticsearch Search API即可检索与分析数据，但基于命令行的分析可视化不够，借助Kibana可以将日志分析与检索采用图形化、列表化的方式予以展现，提高数据的可读性。

##2.2 ****日志收集

********（****1****）**** Input****部分********

采用file插件收集NAS日志收据，path指定日志存放地址，采用通配符指定多个文件。

为了便于日志的Archive，以及标识产生日志的应用容器，日志文件采用“log+hostname”方式命名，因此，同一类日志可能会存在多个日志文件。

start_position指定从日志文件Start位置开始收集，file插件默认从End位置收集，只会收集Logstash启动后生成的日志。

type标识日志类型，对于微服务应用，我们借助type区分应用类型，以方便日后检索与问题定位。

********（****2****）**** Filter****部分********

filter的配置需要根据日志格式和清洗目标按需定制，在我们的项目中，日志采用json格式，其中message key对应的value又是json对象的字符串，因此在提取json key-value时需要做两次json过滤。

Logstash默认每条日志为message key的value，因此第一个json是对一条完整日志进行筛选，将json转换为一个个键值对。转换后，并不能将日志message字段对应的json对象拆分提取，因此需要再使用json插件过滤。由于完整日志对应的message key与日志内message key，二次使用json时Logstash会认为对完整日志进行过滤，为此需要对 message进行重命名，这时采用mutate插件完成。

********注意：********filter插件比较多，也比较复杂，用户可以根据自己需要按需选择。

##2.3 ****日志分析（检索）

（1）时间范围：按照日、周、月、年度分别统计分析

（2）应用比较：各类应用的使用频繁程度比较，结合监控数据判断每类应用耗用资源情况等

（3）API分析：各类请求接口的使用情况分析，哪类API使用频繁，各API的响应时间如何

Centos 7.7

因为搭建ELK需要Java环境，所以需要知道JAVA_HOME。

我最终在 /usr/lib/jvm/jre-1.8.0-openjdk 中知道了JDK，然后指定此路径为JAVA_HOME。

https://www.elastic.co/cn/downloads/

logstash官网

直接安装logstash官网方式安装。

和logstash一样，采用yum安装方式，直接看官网教程，不再赘述。

https://www.elastic.co/guide/en/kibana/7.9/rpm.html#rpm-repo

ELK也是cs架构，所以会有一个服务器用于接收存储并展示日志，此账号用于客户端。

一般而言，会为ELK专门创建一个账号。这个账号会用于所有ELK的相关连接和通信。

user_name改为用户名，your_pwd改为密码。

这是出于系统安全考虑设置的条件。由于ElasticSearch可以接收用户输入的脚本并且执行，为了系统安全考虑，

建议创建一个单独的用户用来运行ElasticSearch。

用curl 访问 http://localhost:9200 ，看是否能得到返回值。若得到返回值，证明elasticsearch服务启动成功。

测试可用性：打开redis客户端，随便设置一个值，并取出来。

yum 安装软件的原文件一版放置于 /etc/ 目录下，kibana也不例外，放在/etc/kibana

修改 /etc/kibana/kibana.yml 配置文件中的server.host 和 server.port，如下图所示。

然后再通过浏览器访问kibana的地址就可以了。

---