「SpringCloud」（三十八）搭建ELK日志采集与分析系统

 一套好的日志分析系统可以详细记录系统的运行情况，方便我们定位分析系统性能瓶颈、查找定位系统问题。上一篇说明了日志的多种业务场景以及日志记录的实现方式，那么日志记录下来，相关人员就需要对日志数据进行处理与分析，基于E(ElasticSearch)L(Logstash)K(Kibana)组合的日志分析系统可以说是目前各家公司普遍的首选方案。

  作为微服务集群，必须要考虑当微服务访问量暴增时的高并发场景，此时系统的日志数据同样是爆发式增长，我们需要通过消息队列做流量削峰处理，Logstash官方提供Redis、Kafka、RabbitMQ等输入插件。Redis虽然可以用作消息队列，但其各项功能显示不如单一实现的消息队列，所以通常情况下并不使用它的消息队列功能；Kafka的性能要优于RabbitMQ，通常在日志采集，数据采集时使用较多，所以这里我们采用Kafka实现消息队列功能。

  ELK日志分析系统中，数据传输、数据保存、数据展示、流量削峰功能都有了，还少一个组件，就是日志数据的采集，虽然log4j2可以将日志数据发送到Kafka，甚至可以将日志直接输入到Logstash，但是基于系统设计解耦的考虑，业务系统运行不会影响到日志分析系统，同时日志分析系统也不会影响到业务系统，所以，业务只需将日志记录下来，然后由日志分析系统去采集分析即可，Filebeat是ELK日志系统中常用的日志采集器，它是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。

软件下载：

  因经常遇到在内网搭建环境的问题，所以这里习惯使用下载软件包的方式进行安装，虽没有使用Yum、Docker等安装方便，但是可以对软件目录、配置信息等有更深的了解，在后续采用Yum、Docker等方式安装时，也能清楚安装了哪些东西，安装配置的文件是怎样的，即使出现问题，也可以快速的定位解决。

Elastic Stack全家桶下载主页： https://www.elastic.co/cn/downloads/

我们选择如下版本：

Kafka下载：

  安装前先准备好三台CentOS7服务器用于集群安装，这是IP地址为：172.16.20.220、172.16.20.221、172.16.20.222，然后将上面下载的软件包上传至三台服务器的/usr/local目录。因服务器资源有限，这里所有的软件都安装在这三台集群服务器上，在实际生产环境中，请根据业务需求设计规划进行安装。

  在集群搭建时，如果能够编写shell安装脚本就会很方便，如果不能编写，就需要在每台服务器上执行安装命令，多数ssh客户端提供了多会话同时输入的功能，这里一些通用安装命令可以选择启用该功能。

新建/usr/local/java目录

将下载的jdk软件包jdk-8u64-linux-x64.tar.gz上传到/usr/local/java目录，然后解压

配置环境变量/etc/profile

在底部添加以下内容

使环境变量生效

备注：后续可通过此命令停止elasticsearch运行

  新建kafka的日志目录和zookeeper数据目录，因为这两项默认放在tmp目录，而tmp目录中内容会随重启而丢失,所以我们自定义以下目录:

修改如下：

在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 >myid）

kafka启动时先启动zookeeper，再启动kafka；关闭时相反，先关闭kafka，再关闭zookeeper。

1、zookeeper启动命令

后台运行启动命令：

或者

查看集群状态：

2、kafka启动命令

后台运行启动命令：

或者

3、创建topic，最新版本已经不需要使用zookeeper参数创建。

参数解释:

复制两份

--replication-factor 2

创建1个分区

--partitions 1

topic 名称

--topic test

4、查看已经存在的topic（三台设备都执行时可以看到）

5、启动生产者：

6、启动消费者：

添加参数 --from-beginning 从开始位置消费，不是从最新消息

7、测试：在生产者输入test，可以在消费者的两台服务器上看到同样的字符test，说明Kafka服务器集群已搭建成功。

Logstash没有提供集群安装方式，相互之间并没有交互，但是我们可以配置同属一个Kafka消费者组，来实现统一消息只消费一次的功能。

  Filebeat用于安装在业务软件运行服务器，收集业务产生的日志，并推送到我们配置的Kafka、Redis、RabbitMQ等消息中间件，或者直接保存到Elasticsearch，下面来讲解如何安装配置：

1、进入到/usr/local目录，执行解压命令

2、编辑配置filebeat.yml

  配置文件中默认是输出到elasticsearch，这里我们改为kafka，同文件目录下的filebeat.reference.yml文件是所有配置的实例，可以直接将kafka的配置复制到filebeat.yml

后台启动命令

停止命令

2、测试logstash是消费Kafka的日志主题，并将日志内容存入Elasticsearch

自动新增的两个index，规则是logstash中配置的

数据浏览页可以看到Elasticsearch中存储的日志数据内容，说明我们的配置已经生效。

Gitee: GitEgg: GitEgg 是一款开源免费的企业级微服务应用开发框架，旨在整合目前主流稳定的开源技术框架，集成常用的最佳项目解决方案，实现可直接使用的微服务快速开发框架。

GitHub: https://github.com/wmz1930/GitEgg

EFK架构（elasticsearchfilebeatkibana）

1、filebeat采集日志（可以采集多种日志类型loghttpsystem cpmqdockeraws...,具体采集配置参照：https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html）

2、filebeat将采集到的日志解析推送至es

3、kibana展示

如果日志量特别大，可以参考此方案

1、filebeat采集日志到kafka，利用kafka高并发处理能力，kafka也可以是集群

2、logstash消费kafka数据，并存储到es集群，logstash也可以是集群

当然可以选择其他方案，大型日志系统复杂性高，选择自己合适的日志解决方案

本次部署版本为7.12.0，部署的时候确保版本一致。

1、下载elasticsearch、kibana、filebeat

[root@ecs7 efk]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz

[root@ecs7 efk]# curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-linux-x86_64.tar.gz

[root@ecs7 efk]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.0-linux-x86_64.tar.gz

2、创建用户并授权

[root@ecs7 efk]# groupadd elastic

[root@ecs7 efk]# useradd -g elastic elasticsearch

[root@ecs7 efk]# chown -R elasticsearch:elastic /data/efk/

3、安装并启动

3.1 使用elasticsearch账号安装启动

>3.1.1 解压 elasticsearch

[root@ecs7 efk]# su elasticsearch

[elasticsearch@ecs7 efk]$ tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz

>3.1.2 配置 elasticsearch

[elasticsearch@ecs7 efk]$ cd elasticsearch-7.12.0/config/

备份原始配置文件

[elasticsearch@ecs7 config]$ cp elasticsearch.yml elasticsearch.yml.org

elasticsearch.yml 全文（本次部署为单节点部署）

# 集群名称

cluster.name: test-efk

# 节点名称

node.name: master

# 索引数据存储目录

path.data: /data/efk/elasticsearch-7.12.0/data

# 日志

path.logs: /data/efk/elasticsearch-7.12.0/dlogs

# 外网访问

network.host: 0.0.0.0

# 端口

http.port: 9200

# 自动创建索引

action.auto_create_index: .security,.monitoring*,.watches,.triggered_watches,.watcher-history*,app-a-*,app-b-*

# 节点网络

discovery.seed_hosts: ["191.168.0.107"]

# 当前节点类型

cluster.initial_master_nodes: ["master"]

>3.1.3 启动elasticsearch

[elasticsearch@ecs7 efk]$ cd elasticsearch-7.12.0/bin/

[elasticsearch@ecs7 bin]$ ./elasticsearch -d

[elasticsearch@ecs7 bin]$ ERROR: [1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.

bootstrap check failure [1] of [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

ERROR: Elasticsearch did not exit normally - check the logs at /data/efk/elasticsearch-7.12.0/dlogs/test-efk.log

启动es会有出现异常，解决方案，参照博客：https://blog.csdn.net/F1004145107/article/details/106279907/

>3.1.4 访问

http://localhost:9200

[elasticsearch@ecs7 bin]$ curl http://localhost:9200

{

"name" : "master",

"cluster_name" : "test-efk",

"cluster_uuid" : "Hovo67CRTF2zMnygQJ-2NQ",

"version" : {

"number" : "7.12.0",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "78722783c38caa25a70982b5b042074cde5d3b3a",

"build_date" : "2021-03-18T06:17:15.410153305Z",

"build_snapshot" : false,

"lucene_version" : "8.8.0",

"minimum_wire_compatibility_version" : "6.8.0",

"minimum_index_compatibility_version" : "6.0.0-beta1"

},

"tagline" : "You Know, for Search"

}

3.2 安装启动kibana

>3.2.1 解压 kibana

[root@ecs7 efk]# su elasticsearch

[elasticsearch@ecs7 efk]$ tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz

>3.2.2 配置 kibana

[elasticsearch@ecs7 efk]$ cd kibana-7.12.0-linux-x86_64

[elasticsearch@ecs7 kibana-7.12.0-linux-x86_64]$ cd config/

[elasticsearch@ecs7 config]$ cp kibana.yml kibana.yml.org

备份原始配置文件

[elasticsearch@ecs7 config]$ cp kibana.yml kibana.yml.org

kibana.yml 全文

# 端口

server.port: 5601

# 主机

server.host: "0.0.0.0"

# 名称

server.name: "master"

# es集群地址

elasticsearch.hosts: ["http://127.0.0.1:9200"]

# 日志目录

logging.dest: /data/efk/kibana-7.12.0-linux-x86_64/logs/kibana.log

>3.2.3 启动kibana

[elasticsearch@ecs7 kibana-7.12.0-linux-x86_64]$ ll

total 1476

drwxr-xr-x 2 elasticsearch elastic 4096 Mar 18 13:56 bin

drwxr-xr-x 2 elasticsearch elastic 4096 Apr 13 09:53 config

drwxr-xr-x 2 elasticsearch elastic 4096 Apr 7 11:26 data

-rw-r--r-- 1 elasticsearch elastic 3860 Mar 18 13:55 LICENSE.txt

drwxr-xr-x 2 elasticsearch elastic 4096 Apr 7 11:26 logs

drwxr-xr-x 6 elasticsearch elastic 4096 Mar 18 13:55 node

drwxr-xr-x 831 elasticsearch elastic 36864 Mar 18 13:55 node_modules

-rw-r--r-- 1 elasticsearch elastic 1428396 Mar 18 13:55 NOTICE.txt

-rw-r--r-- 1 elasticsearch elastic 740 Mar 18 13:55 package.json

drwxr-xr-x 2 elasticsearch elastic 4096 Mar 18 13:55 plugins

-rw-r--r-- 1 elasticsearch elastic 3968 Mar 18 13:55 README.txt

drwxr-xr-x 12 elasticsearch elastic 4096 Mar 18 13:55 src

drwxr-xr-x 3 elasticsearch elastic 4096 Mar 18 13:55 x-pack

[elasticsearch@ecs7 kibana-7.12.0-linux-x86_64]$ cd bin

[elasticsearch@ecs7 bin]$ ll

total 16

-rwxr-xr-x 1 elasticsearch elastic 850 Mar 18 13:55 kibana

-rwxr-xr-x 1 elasticsearch elastic 783 Mar 18 13:55 kibana-encryption-keys

-rwxr-xr-x 1 elasticsearch elastic 776 Mar 18 13:55 kibana-keystore

-rwxr-xr-x 1 elasticsearch elastic 813 Mar 18 13:55 kibana-plugin

[elasticsearch@ecs7 bin]$ ./kibana &

>3.2.4 访问

浏览器访问 http://localhost:5601

3.3 安装启动filebeat

filebeat 不一定要跟es放在同一台服务器，可以是本机可以是其他服务器，它是一个采集工具，可以将数据推送至es，以下采用本机演示

>3.3.1 解压 &配置 filebeat

备份原始配置文件

filebeat.yml 全文

# ============================== Filebeat inputs ===============================

filebeat.inputs:

- type: log

enabled: true

encoding: UTF-8

# Paths that should be crawled and fetched. Glob based paths.

paths:

#需要采集的日志文件

- D:/data/**/*.log

json.key_under_root: true

json.overwrite_keys: true

json.message_key: message

json.add_error_key: true

tags: ["saas"]

# ============================== Filebeat modules ==============================

filebeat.config.modules:

# Glob pattern for configuration loading

path: ${path.config}/modules.d/*.yml

# Set to true to enable config reloading

reload.enabled: false

# Period on which files under path should be checked for changes

#reload.period: 10s

# ======================= Elasticsearch template setting =======================

setup.template.settings:

index.number_of_shards: 1

#index.codec: best_compression

#_source.enabled: false

setup.kibana:

# ---------------------------- Elasticsearch Output ----------------------------

output.elasticsearch:

# Array of hosts to connect to.

# es 地址

hosts: ["191.168.0.107：9200"]

processors:

- add_host_metadata:

when.not.contains.tags: forwarded

- add_cloud_metadata: ~

- add_docker_metadata: ~

- add_kubernetes_metadata: ~

# 日志时间处理

- timestamp:

field: json.@timestamp

timezone: Asia/Shanghai

layouts:

- '2006-01-02T15:04:05+08:00'

- '2006-01-02T15:04:05.999+08:00'

test:

- '2019-06-22T16:33:51+08:00'

- '2019-11-18T04:59:51.123+08:00'

# 删除相关字段

- drop_fields:

fields: [json.@version,json.level_value,json.@timestamp]

# 重命名字段

- rename:

fields:

- from: "json.logName"

to: "json.appName"

ignore_missing: false

fail_on_error: true

>3.3.3 启动filebeat

使用cmd运行 filebeat.exe

3.4 springboot logback配置

pom.xml 新增logstash-logback-encoder依赖，logstash-logback-encoder可以将日志以json的方式输出，也不用我们单独处理多行记录问题

net.logstash.logback

logstash-logback-encoder

5.3

<?xml version="1.0" encoding="UTF-8"?>

%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n

UTF-8

logs/${logName}/${logName}.log

true

logs/${logName}/${logName}-%d{yyyy-MM-dd}.log.%i

64MB

30

1GB

Asia/Shanghai

{"level": "%level","class": "%logger{40}","message": "%message","stack_trace": "%exception"}

启动springboot服务，生成的日志会自动被filebeat采集并推送到es。

---