開始之前先了解一下什么是ELK
ELK:大型分布式日志分析系統(tǒng)ELK elasticsearch(存儲日志)+logstash(收集日志)+kibana(展示數(shù)據(jù))
Elasticsearch:
Elasticsearch (ES)是一個基于Lucene構(gòu)建的開源、分布式、RESTful 接口全文搜索引擎。Elasticsearch 還是一個分布式文檔數(shù)據(jù)庫,其中每個字段均是被索引的數(shù)據(jù)且可被搜索,它能夠擴(kuò)展至數(shù)以百計的服務(wù)器存儲以及處理PB級的數(shù)據(jù)。它可以在很短的時間內(nèi)在儲、搜索和分析大量的數(shù)據(jù)。它通常作為具有復(fù)雜搜索場景情況下的核心發(fā)動機(jī)。橫向可擴(kuò)展性:只需要增加臺服務(wù)器,做一點(diǎn)兒配置,啟動一下Elasticsearch就可以并入集群。
分片機(jī)制提供更好的分布性:同一個索引分成多個分片(sharding), 這點(diǎn)類似于HDFS的塊機(jī)制;分而治之的方式可提升處理效率。
高可用:提供復(fù)制( replica) 機(jī)制,一個分片可以設(shè)置多個復(fù)制,使得某臺服務(wù)器在宕機(jī)的情況下,集群仍舊可以照常運(yùn)行,并會把服務(wù)器宕機(jī)丟失的數(shù)據(jù)信息復(fù)制恢復(fù)到其他可用節(jié)點(diǎn)上。
口使用簡單:只需一條命令就可以下載文件,然后很快就能搭建一個站內(nèi)搜索引擎。
Elasticsearch應(yīng)用場景
大型電商商品搜索系統(tǒng)、網(wǎng)盤搜索引擎等。logstash
官網(wǎng):https://www.elastic.co/guide/en/logstash/current/index.html
logstash就是一根具備實(shí)時數(shù)據(jù)傳輸能力的管道,負(fù)責(zé)將數(shù)據(jù)信息從管道的輸入端傳輸?shù)焦艿赖妮敵龆耍慌c此同時這根管道還可以讓你根據(jù)自己的需求在中間加上濾網(wǎng),Logstash提供里很多功能強(qiáng)大的濾網(wǎng)以滿足你的各種應(yīng)用場景。
Logstash常用于日志關(guān)系系統(tǒng)中做日志采集設(shè)備;
