一、車紛享數(shù)據(jù)中心
車紛享的數(shù)據(jù)來自于車載終端上傳的數(shù)據(jù)報文，首先經(jīng)過系統(tǒng)平臺的網(wǎng)關(guān)，然后借助規(guī)則引擎對數(shù)據(jù)報文進行解析拆分成有意義的數(shù)據(jù)項，以數(shù)據(jù)記錄的方式放入消息隊列，消息隊列采用了阿里的MQ，消息隊列的消費程序，會將消費到的數(shù)據(jù)分別存入redis以及HBase，其中Redis是用來提供車輛實時狀態(tài)的查詢，HBase提供車輛歷史數(shù)據(jù)的查詢，為了對歷史數(shù)據(jù)進行災(zāi)備處理，使用了阿里云的OSS存儲，將備份數(shù)據(jù)日志文件按照時間分區(qū)存儲至OSS。
專欄
Hadoop v3.1大數(shù)據(jù)技術(shù)快速入門
作者：軟件架構(gòu)
19.8幣
43人已購
查看
二、數(shù)據(jù)處理流程
以網(wǎng)約車管理平臺為例，主要數(shù)據(jù)來源為車況數(shù)據(jù)和訂單數(shù)據(jù)，進入Kafka后，建立2個消費組（Consumer Group），分別存儲進HBase數(shù)據(jù)庫和進入Spark Streaming流式計算引擎，主要用來為運營部門優(yōu)化網(wǎng)點，車輛分流，監(jiān)控部門的風(fēng)控管理和商業(yè)BI相關(guān)的離線分析提供數(shù)據(jù)支撐。
專欄
Kafka v2.3 快速入門與實踐
作者：軟件架構(gòu)
29.6幣
61人已購
查看
三、使用感受
現(xiàn)在車紛享的車聯(lián)網(wǎng)數(shù)據(jù)平臺已遷入阿里云HBase團隊已經(jīng)半年多了，平均日寫入數(shù)據(jù)幾十G，到現(xiàn)在還沒出現(xiàn)數(shù)據(jù)服務(wù)器的嚴重故障問題，總體比較穩(wěn)定，大大降低了運營管理成本。
原文鏈接：
車紛享：基于阿里云HBase構(gòu)建車聯(lián)網(wǎng)平臺實踐
https://developer.aliyun.com/article/563203
