前言

一个完整软件系统,日志服务是必不可少的一环,定位问题,分析日志都需要它的帮助,现在市面上用的比较多的日志服务方案是ELK,我看看如何来搭建集成。

ELK代表:Elasticsearch、Logstash、Kibana
Elasticsearch - 实时全文搜索和分析引擎,提供搜集、分析、存储数据功能
Logstash - 用来搜集、分析、过滤日志的工具
Kibana - Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据

我们用个简单的架构来演示:ELK + SpringBoot

ELK日志服务搭建

这里我们采用的是docker的方式来进行的搭建,直接在github上找了一个开源项目docker-elk,快速简单的完成搭建。

构建镜像运行容器
1
2
3
git clone https://github.com/deviantony/docker-elk.git
cd docker-elk
docker-compose up -d

注:因为yml配置的是build命令。所以每次up -d都会重新构建镜像,因此,构建完成后,后续启动建议时间start命令。

调整配置文件

文件路径:logstash/config/logstash.yml
配置内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
input {
tcp {
port => 5000
}
}

## Add your filters / logstash plugins configuration here

output {
elasticsearch {
hosts => "elasticsearch:9200"
user => "elastic"
password => "changeme"
}
}

注:
1,这里的user/password是我们登录kibana的账户密码,默认用户名密码:elastic/changeme
2,input.tcp.port是我们用程序链接logstash输入日志的端口

另外,如果需要清理容器的持久数据,可以执行下面的命令

1
docker-compose down -v
Kibana仪表盘设置

1,索引设置:
路径:设置 >> Kibana >> Index Patterns >> Create index pattern

Step1:
索引信息,支持根据通配符设置,如:logstash-*

Step2:
选择按照时戳作为筛选字段:@timestamp

注:仪表盘的这些索引设置,需要我们先写入日志数据

2,然后,进入Discover仪表盘,然后INDEX PATTERN选择logstash-*,就能查看日志了,如:
仪表盘

SpringBoot项目配置

pom文件配置

引入logstash-logback-encoder,它负责链接logstash服务,推送程序日志:

1
2
3
4
5
6
7
<logstash.version>6.4</logstash.version>

<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>${logstash.version}</version>
</dependency>
logback-boot.xml文件配置

修改项目的logback-boot.xml,配置logstash的日志追加器,因为我们是在本地搭建的,所以logstash的地址使用的是127.0.0.1。

如:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】 -->
<!-- appender是configuration的子节点,是负责写日志的组件。 -->
<!-- ConsoleAppender:把日志输出到控制台 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d %p (%file:%line\)- %m%n</pattern>
<!-- 控制台也要使用UTF-8,不要使用GBK,否则会中文乱码 -->
<charset>UTF-8</charset>
</encoder>
</appender>
<!-- RollingFileAppender:滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件 -->
<!-- 以下的大概意思是:1.先按日期存日志,日期变了,将前一天的日志文件名重命名为XXX%日期%索引,新的日志仍然是demo.log -->
<!-- 2.如果日期没有发生变化,但是当前日志的文件大小超过1KB时,对当前日志进行分割 重命名-->
<appender name="APILOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
<File>log/api.log</File>
<!-- rollingPolicy:当发生滚动时,决定 RollingFileAppender 的行为,涉及文件移动和重命名。 -->
<!-- TimeBasedRollingPolicy: 最常用的滚动策略,它根据时间来制定滚动策略,既负责滚动也负责出发滚动 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- 活动文件的名字会根据fileNamePattern的值,每隔一段时间改变一次 -->
<!-- 文件名:log/api.2017-12-05.0.log -->
<fileNamePattern>log/api.%d.%i.log</fileNamePattern>
<!-- 每产生一个日志文件,该日志文件的保存期限为15天 -->
<maxHistory>15</maxHistory>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<!-- maxFileSize:这是活动文件的大小,默认值是1MB,测试时可改成1KB看效果 -->
<maxFileSize>1MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
</rollingPolicy>
<encoder>
<!-- pattern节点,用来设置日志的输入格式 -->
<pattern>
%d %p (%file:%line\)- %m%n
</pattern>
<!-- 记录日志的编码:此处设置字符集 - -->
<charset>UTF-8</charset>
</encoder>
</appender>
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!-- logstash地址,端口是logstash.conf input配置的端口 -->
<destination>127.0.0.1:5000</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
</appender>
<!-- 控制台输出日志级别, 级别依次为【从高到低】:FATAL > ERROR > WARN > INFO > DEBUG > TRACE -->
<root level="info">
<appender-ref ref="STDOUT" />
<appender-ref ref="APILOG" />
<appender-ref ref="LOGSTASH" />
</root>
</configuration>

然后,我们启动项目,日志就能实时追加到搭建的服务中去了。