之前我們搭建的ELK日志收集系統(tǒng)，主要是用來(lái)收集SpringBoot應(yīng)用的日志。其原理是應(yīng)用通過(guò)Logstash插件，使用TCP向Logstash傳輸日志，從而存儲(chǔ)到Elasticsearch中去。但是有很多中間件的日志都是直接存儲(chǔ)在文件中的，比如Nginx、Elasticsearch和MySQL，此時(shí)我們就需要一個(gè)搬運(yùn)工來(lái)把日志搬到Elasticsearch中去，F(xiàn)ilebeat正是這樣一個(gè)日志搬運(yùn)工，本文將詳細(xì)介紹它的使用方法，希望對(duì)大家有所幫助。

Filebeat簡(jiǎn)介

Filebeat是一款輕量級(jí)日志采集器，可用于轉(zhuǎn)發(fā)和匯總?cè)罩九c文件。Filebeat內(nèi)置有多種模塊（Nginx、MySQL、redis、Elasticsearch、Logstash等），可針對(duì)常見(jiàn)格式的日志大大簡(jiǎn)化收集、解析和可視化過(guò)程，只需一條命令即可。

Filebeat安裝及配置

安裝Filebeat之前，我們需要先安裝好Elasticsearch和Kibana，具體參考你居然還去服務(wù)器上撈日志，搭個(gè)日志收集系統(tǒng)難道不香么，注意使用7.6.2版本。

我們先下載Filebeat的安裝包

面對(duì)成百上千臺(tái)服務(wù)器產(chǎn)生的日志，試試這款輕量級(jí)日志搬運(yùn)神器

下載完成后解壓到指定目錄，注意圖中所示的三個(gè)地方；

Kibana中早就提供好了Filebeat收集各種日志的教程，我們先進(jìn)入首頁(yè)

點(diǎn)擊Add log data按鈕，可以發(fā)現(xiàn)支持的中間件還是很豐富的，涵蓋了常用的；

點(diǎn)開(kāi)Nginx的日志收集教程看下，是不是很詳細(xì)；

接下來(lái)我們就要開(kāi)始配置Filebeat了，配置好Elasticsearch和Kibana的連接地址，修改Filebeat的安裝目錄下的配置文件filebeat.yml即可，修改內(nèi)容如下。

output.elasticsearch:
  hosts: ["localhost:9200"]
setup.kibana:
  host: "localhost:5601"

收集Nginx日志

我們先拿Nginx來(lái)練練手，體驗(yàn)下Filebeat的日志收集功能吧。

使用如下命令開(kāi)啟Filebeat的Nginx日志收集模塊；

filebeat modules enable nginx

開(kāi)啟完成后，進(jìn)入modules.d目錄下，你會(huì)發(fā)現(xiàn)nginx.yml的disable后綴沒(méi)有了，說(shuō)明已經(jīng)被開(kāi)啟；

接下來(lái)修改nginx.yml文件，配置好Nginx的access和error日志路徑；

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-nginx.html

- module: nginx
  access:
    enabled: true
    var.paths: ["I:/developer/env/nginx-1.8.1/logs/access.log"]

  error:
    enabled: true
    var.paths: ["I:/developer/env/nginx-1.8.1/logs/error.log"]

由于啟用了Nginx日志收集模塊，我們需要通過(guò)如下命令對(duì)Filebeat進(jìn)行設(shè)置；

filebeat setup

通過(guò)如下命令啟動(dòng)Filebeat服務(wù)；

filebeat -e

我們可以通過(guò)之前使用的Kibana中的Nginx教程頁(yè)面，檢查下數(shù)據(jù)是否成功被收集了；

點(diǎn)擊Nginx logs dashboard按鈕可以查看收集到的Nginx日志，先看看概覽日志；

再看看詳細(xì)日志，從此不用再去服務(wù)器上撈Nginx日志了！

收集Elasticsearch日志

接下來(lái)我們?cè)僭囋囀占疎lasticsearch的日志。

使用如下命令開(kāi)啟Filebeat的Elasticsearch日志收集模塊；

filebeat modules enable elasticsearch

接下來(lái)修改elasticsearch.yml配置，配置好Elasticsearch的日志路徑；

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html

- module: elasticsearch
  server:
    enabled: true
    var.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch.log"]

  slowlog:
    enabled: true
    var.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_indexing_slowlog.log","I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_index_search_slowlog.log"]

  deprecation:
    enabled: true
    var.paths: ["I:/developer/env/elasticsearch-7.6.2/logs/elasticsearch_deprecation.log"]

設(shè)置并啟動(dòng)Filebeat服務(wù)；

filebeat setup
filebeat -e

在Discover頁(yè)面中查看Elasticsearch日志。

收集MySQL日志

再來(lái)試試收集MySQL的日志。

使用如下命令開(kāi)啟Filebeat的MySQL日志收集模塊；

filebeat modules enable mysql

接下來(lái)修改mysql.yml配置，配置好MySQL的日志路徑，主要是錯(cuò)誤日志和慢查詢?nèi)罩荆?/li>

# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-mysql.html

- module: mysql
  error:
    enabled: true
    var.paths: ["C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19.err"]

  slowlog:
    enabled: true
    var.paths: ["C:/ProgramData/MySQL/MySQL Server 5.7/Data/DESKTOP-5NIMJ19-slow.log"]