ELK+logback日志采集教程

ELK是三個開源軟件的縮寫，別離暗示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。

Elasticsearch：是個開源分布式搜刮引擎，供給匯集、闡發、存儲數據三年夜功能。它的特點有：分布式，零設置裝備擺設，主動發現，索引主動分片，索引副本機制，restful氣概接口，大都據源，主動搜刮負載等。

Logstash：本家兒如果用明天將來志的匯集、闡發、過濾日記的東西，撐持年夜量的數據獲取體例。一般工作體例為c/s架構，client端安裝在需要收集日記的本家兒機上，server端負責將收到的各節點日記進行過濾、點竄等操作在一并發往elasticsearch上去。

Kibana：也是一個開源和免費的東西，Kibana可覺得 Logstash 和 ElasticSearch 供給的日記闡發友愛的 Web 界面，可以幫忙匯總、闡發和搜刮主要數據日記。

東西/原料

jdk8情況
elasticsearch-6.4.2.tar.gz 下載地址:https://www.elastic.co/downloads/elasticsearch
logstash-6.4.2.tar.gz 下載地址:https://www.elastic.co/downloads/logstash
kibana-6.4.2-linux-x86_64.tar.gz 地址:https://www.elastic.co/downloads/kibana
Linux情況

方式/步調

1
安裝并設置裝備擺設jdk情況變量，Linux號令如下：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile 使設置裝備擺設情況變量生效。
2
安裝 elasticsearch，Linux號令如下：
root# tar -xvf elasticsearch-6.4.2.tar.gz
root# cp -rf elasticsearch-6.4.2 /home/es
root# chown -R es.es /home/es/elasticsearch-6.4.2
es$ nohup /home/es/elasticsearch-6.4.2/bin/elasticsearch &
3
安裝 logstash，Linux號令如下：
root# tar -zxvf logstash-6.1.0.tar.gz root# cp -rf logstash-6.1.0/home/elk
root# chown -R elk.elk /home/elk/logstash-6.1.0
root# touch /home/elk/logstash-6.1.0/config/logstash-simple.conf
root# ./bin/logstash -f ./config/logstash-simple.conf
4
在config 下設置裝備擺設一個simple.conf設置裝備擺設文件，如圖
5
安裝 kinbana
1、利用號令解壓（按照本身的文件名稱進行解壓）：
tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz

2、點竄設置裝備擺設文件: cd /kibana/kibana-6.4.2-linux-x86_64/config/kibana.yml
端口：server.port: 5601
linux對應的ip地址：server.host
es設置裝備擺設地址和端口進行設置裝備擺設：elasticsearch.url: "http://xxx.xxx.xxx.xxx:9200"

3、啟動，Linux號令如下：
root# cd /kibana/kibana-6.4.2-linux-x86_64/bin
root# ./kibana （不克不及封閉終端）
root# nohup ./kibana > /nohub.out & （可封閉終端，在nohup.out中查看log）
備注：若是不克不及正常拜候則利用firewall開放linux端口
1、執行如下號令號令：firewall-cmd --zone=public --add-port=5601/tcp --permanent
2、重啟防火墻，運行號令：firewall-cmd --reload
3、查看端標語是否開啟，運行號令：firewall-cmd --query-port=5601/tcp

在Logback.xml中集當作logstash

1
在pom文件中引入jar包，如下：
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.5.RELEASE</version>
<relativePath/>
</parent>
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>
2
在logback-spring.xml中設置裝備擺設,設置裝備擺設如下：
<configuration>
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<springProperty scope="context" name="springAppName" source="spring.application.name"/>

<property name="CONSOLE_LOG_PATTERN"
value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p})
%clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan}
%clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />

<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>

<encoder>
<pattern>${CONSOLE_LOG_PATTERN}</pattern>
</encoder>
</appender>

<appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<destination>127.0.0.1:9601</destination>
<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
<providers>



<pattern>
<pattern>
{
"severity": "%level",
"service": "${springAppName:-}",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"exportable": "%X{X-Span-Export:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger{40}",
"rest": "%message"
}
</pattern>
</pattern>
</providers>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="console"/>
<appender-ref ref="logstash"/>
</root>
</configuration>
3
設置裝備擺設完當作后啟動
1、啟動elk：elasticsearch -> logstash -> kibana 必需按照啟動挨次進行啟動
2、發送請求，測試發送日記