一、Druid概述
1、Druid簡(jiǎn)介
Druid是一款基于分布式架構(gòu)的OLAP引擎，支持?jǐn)?shù)據(jù)寫入、低延時(shí)、高性能的數(shù)據(jù)分析，具有優(yōu)秀的數(shù)據(jù)聚合能力與實(shí)時(shí)查詢能力。在大數(shù)據(jù)分析、實(shí)時(shí)計(jì)算、監(jiān)控等領(lǐng)域都有相關(guān)的應(yīng)用場(chǎng)景，是大數(shù)據(jù)基礎(chǔ)架構(gòu)建設(shè)中重要組件。
與現(xiàn)在相對(duì)熱門的Clickhouse引擎相比，Druid對(duì)高并發(fā)的支持相對(duì)較好和穩(wěn)定，但是Clickhouse在任務(wù)隊(duì)列模式中的數(shù)據(jù)查詢能力十分出色，但是對(duì)高并發(fā)支持不夠友好，需要做好很多服務(wù)監(jiān)控和預(yù)警。大數(shù)據(jù)組件中OLAP引擎的選型有很多，在數(shù)據(jù)的查詢引擎層通常都具有兩種或者以上的OLAP引擎，選擇合適的組件解決業(yè)務(wù)需求是優(yōu)先原則。
2、基本特點(diǎn)
分布式
分布式的OLAP數(shù)據(jù)引擎，數(shù)據(jù)分布在多個(gè)服務(wù)節(jié)點(diǎn)中，當(dāng)數(shù)據(jù)量激烈增長的時(shí)候，可以通過增加節(jié)點(diǎn)的方式進(jìn)行水平擴(kuò)容，數(shù)據(jù)在多個(gè)節(jié)點(diǎn)相互備份，如果單個(gè)節(jié)點(diǎn)出現(xiàn)故障，則可基于Zookeeper調(diào)度機(jī)制重新構(gòu)建數(shù)據(jù)，這是分布式OLAP引擎的基本特點(diǎn)，在之前Clickhouse系列中也說過這個(gè)策略。
聚合查詢
主要針對(duì)時(shí)間序列數(shù)據(jù)提供低延時(shí)數(shù)據(jù)寫入和快速聚合查詢，時(shí)序數(shù)據(jù)庫特點(diǎn)寫入即可查詢，Druid在數(shù)據(jù)寫入時(shí)就會(huì)對(duì)數(shù)據(jù)預(yù)聚合，進(jìn)而減少原始數(shù)據(jù)量，節(jié)省存儲(chǔ)空間并提升查詢效率;數(shù)據(jù)聚合粒度可以基于特定策略，例如分鐘、小時(shí)、天等。必須要強(qiáng)調(diào)Druid適合數(shù)據(jù)分析場(chǎng)景，并不適合單條數(shù)據(jù)主鍵查詢的業(yè)務(wù)。
列式存儲(chǔ)
Druid面向列的存儲(chǔ)方式，并且可以在集群中進(jìn)行大規(guī)模的并行查詢，這意味在只需要加載特定查詢所需要的列情況下，查詢速度可以大幅度提升。
3、基礎(chǔ)架構(gòu)
統(tǒng)治者節(jié)點(diǎn)
即Overlord-Node，任務(wù)的管理節(jié)點(diǎn)，進(jìn)程監(jiān)視MiddleManager進(jìn)程，并且是數(shù)據(jù)攝入Druid的控制器，負(fù)責(zé)將提取任務(wù)分配給MiddleManagers并協(xié)調(diào)Segement發(fā)布。
協(xié)調(diào)節(jié)點(diǎn)
即Coordinator-Node，主要負(fù)責(zé)數(shù)據(jù)的管理和在歷史節(jié)點(diǎn)上的分布，協(xié)調(diào)節(jié)點(diǎn)告訴歷史節(jié)點(diǎn)加載新數(shù)據(jù)、卸載過期數(shù)據(jù)、復(fù)制數(shù)據(jù)、和為了負(fù)載均衡移動(dòng)數(shù)據(jù)。
中間管理節(jié)點(diǎn)
即MiddleManager-Node，攝入實(shí)時(shí)數(shù)據(jù)，已生成Segment數(shù)據(jù)文件，可以理解為overlord節(jié)點(diǎn)的工作節(jié)點(diǎn)。
歷史節(jié)點(diǎn)
即Historical-Node，主要負(fù)責(zé)歷史數(shù)據(jù)存儲(chǔ)和查詢，接收協(xié)調(diào)節(jié)點(diǎn)數(shù)據(jù)加載與刪除指令，historical節(jié)點(diǎn)是整個(gè)集群查詢性能的核心所在，因?yàn)閔istorical會(huì)承擔(dān)絕大部分的segment查詢。
查詢節(jié)點(diǎn)
即Broker-Node，扮演著歷史節(jié)點(diǎn)和實(shí)時(shí)節(jié)點(diǎn)的查詢路由的角色，接收客戶端查詢請(qǐng)求，并將這些查詢轉(zhuǎn)發(fā)給Historicals和MiddleManagers，當(dāng)Brokers從這些子查詢中收到結(jié)果時(shí)，它們會(huì)合并這些結(jié)果并將它們返回給調(diào)用者。
數(shù)據(jù)文件存儲(chǔ)庫
即DeepStorage，存放生成的Segment數(shù)據(jù)文件。
元數(shù)據(jù)庫
即MetadataStorage，存儲(chǔ)Druid集群的元數(shù)據(jù)信息，比如Segment的相關(guān)信息。
協(xié)調(diào)中間件
即Zookeeper，為Druid集群提供協(xié)調(diào)服務(wù)，如內(nèi)部服務(wù)的監(jiān)控，協(xié)調(diào)和領(lǐng)導(dǎo)者選舉。
二、Druid部署
1、安裝包
imply對(duì)druid做了集成，并提供從部署到配置到各種可視化工具的完整的解決方案。
https://static.imply.io/release/imply-2.7.10.tar.gz
解壓并重新命名。
[root@hop01 opt]# tar -zxvf imply-2.7.10.tar.gz
[root@hop01 opt]# mv imply-2.7.10 imply2.7
2、Zookeeper配置
配置Zookeeper集群各個(gè)節(jié)點(diǎn)，逗號(hào)分隔。
[root@hop01 _common]# cd /opt/imply2.7/conf/druid/_common
[root@hop01 _common]# vim common.runtime.properties
druid.zk.service.host=hop01:2181,hop02:2181,hop03:2181
關(guān)閉Zookeeper內(nèi)置校驗(yàn)并且不啟動(dòng)。
[root@hop01 supervise]# cd /opt/imply2.7/conf/supervise
[root@hop01 supervise]# vim quickstart.conf
注釋掉如下內(nèi)容：
3、服務(wù)啟動(dòng)
依次啟動(dòng)相關(guān)組件：Zookeeper、Hadoop相關(guān)組件，然后啟動(dòng)imply服務(wù)。
[root@hop01 imply2.7]# /opt/imply2.7/bin/supervise -c /opt/imply2.7/conf/supervise/quickstart.conf
注意虛擬機(jī)內(nèi)存問題，在如下的目錄中Druid各個(gè)組件的JVM配置，條件不允許的話適當(dāng)拉低，并且要拉高JVM相關(guān)內(nèi)存參數(shù)。
[root@hop01 druid]# cd /opt/imply2.7/conf/druid
啟動(dòng)默認(rèn)端口：9095，訪問界面如下：
三、基礎(chǔ)用法
1、數(shù)據(jù)源配置
選擇上述Http的方式，基于imply提供的JSON測(cè)試文件。
https://static.imply.io/data/wikipedia.json.gz
2、數(shù)據(jù)在線加載
執(zhí)行上述：Sample and continue。
樣本數(shù)據(jù)加載配置：
數(shù)據(jù)列的配置：
配置項(xiàng)總體概覽：
最后執(zhí)行數(shù)據(jù)加載任務(wù)即可。
3、本地樣本加載
[root@hop01 imply2.7]# bin/post-index-task --file quickstart/wikipedia-index.json
這樣讀取兩份數(shù)據(jù)腳本。
4、數(shù)據(jù)立方體
數(shù)據(jù)加載完成后，查看可視化數(shù)據(jù)立方體：
數(shù)據(jù)立方體中提供一些基礎(chǔ)的視圖分析，可以在多個(gè)維度上拆分?jǐn)?shù)據(jù)集并進(jìn)行數(shù)據(jù)分析：
5、SQL查詢
可以基于可視化工具對(duì)Druid進(jìn)行SQL查詢，語法與常用規(guī)則幾乎一樣：
SELECT COUNT(*) AS Edits FROM wikipedia;
SELECT * FROM wikipedia WHERE "__time" BETWEEN TIMESTAMP '開始' AND TIMESTAMP '結(jié)束';
SELECT page, COUNT(*) AS Edits FROM wikipedia GROUP BY page LIMIT 2;
SELECT * FROM wikipedia ORDER BY __time DESC LIMIT 5;
SELECT * FROM wikipedia LIMIT 3;
6、Segment文件
文件位置：
/opt/imply2.7/var/druid/segments/wikipedia/
Druid基于Segment實(shí)現(xiàn)對(duì)數(shù)據(jù)的切割，數(shù)據(jù)按時(shí)間的時(shí)序分布，將不同時(shí)間范圍內(nèi)的數(shù)據(jù)存儲(chǔ)在不同的Segment數(shù)據(jù)塊中，按時(shí)間范圍查詢數(shù)據(jù)時(shí)，可以避免全數(shù)據(jù)掃描效率可以極大的提高，同時(shí)面向列進(jìn)行數(shù)據(jù)壓縮存儲(chǔ)，提高分析的效率。
