8月31日,在剛剛出版的《騰訊大數(shù)據(jù)構(gòu)建之道》新書中,騰訊首次對(duì)外披露了自身大數(shù)據(jù)核心技術(shù)體系架構(gòu)和海量業(yè)務(wù)應(yīng)用實(shí)踐。作為國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域的一部前沿技術(shù)著作,該書匯集了騰訊在大數(shù)據(jù)領(lǐng)域幾十位技術(shù)專家的思考和實(shí)戰(zhàn)精髓,通過全面剖析自身在大數(shù)據(jù)領(lǐng)域的探索以及落地,為國(guó)內(nèi)大數(shù)據(jù)從業(yè)者提供了一份極具價(jià)值的參考文獻(xiàn)。
騰訊公司副總裁蔣杰表示:“從第一代的離線計(jì)算到以隱私計(jì)算、數(shù)智融合、云原生為代表的第四代大數(shù)據(jù)技術(shù),騰訊大數(shù)據(jù)團(tuán)隊(duì)不斷基于內(nèi)部海量業(yè)務(wù)實(shí)踐,打造領(lǐng)先的技術(shù)和產(chǎn)品服務(wù)內(nèi)外部眾多客戶。未來(lái),騰訊還將通過騰訊云持續(xù)開放自身在大數(shù)據(jù)領(lǐng)域的技術(shù)和經(jīng)驗(yàn),攜手合作伙伴,為各行各業(yè)客戶創(chuàng)造價(jià)值,加速推進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)的融合發(fā)展。”
《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》提出,當(dāng)前數(shù)據(jù)已成為重要的生產(chǎn)要素,大數(shù)據(jù)產(chǎn)業(yè)作為激活數(shù)據(jù)要素潛能的關(guān)鍵支撐,是加快經(jīng)濟(jì)社會(huì)發(fā)展質(zhì)量變革、效率變革、動(dòng)力變革的重要引擎。此次騰訊推出的《騰訊大數(shù)據(jù)構(gòu)建之道》,系統(tǒng)性復(fù)盤了大數(shù)據(jù)技術(shù)在騰訊內(nèi)部的應(yīng)用發(fā)展與演進(jìn),對(duì)促進(jìn)國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)的共同進(jìn)步具有積極意義。
據(jù)悉,該書由騰訊數(shù)據(jù)平臺(tái)部與機(jī)械工業(yè)出版社合作出品,內(nèi)容總體分為兩大部分:第一部分,主要講述了騰訊大數(shù)據(jù)平臺(tái)的技術(shù)體系;第二部分,主要講述了騰訊大數(shù)據(jù)通過騰訊云對(duì)外開放的一系列產(chǎn)品。
在第一部分,騰訊大數(shù)據(jù)團(tuán)隊(duì)從自身平臺(tái)的發(fā)展歷程和總體架構(gòu)切入,深入介紹了各項(xiàng)技術(shù)原理,闡述了實(shí)戰(zhàn)過程中的挑戰(zhàn)和自研核心技術(shù)的設(shè)計(jì)思想。內(nèi)容覆蓋了大數(shù)據(jù)接入、計(jì)算、存儲(chǔ)、分析、調(diào)度等大量技術(shù)組件的整體架構(gòu)和應(yīng)用展示,當(dāng)中不乏數(shù)據(jù)實(shí)時(shí)采集TDBank、下一代大數(shù)據(jù)分布式存儲(chǔ)Ozone、高性能的大數(shù)據(jù)SQL引擎SuperSQL、自主研發(fā)的高性能分布式機(jī)器學(xué)習(xí)平臺(tái)Angel等多個(gè)重量級(jí)產(chǎn)品的詳細(xì)剖析。
以分布式計(jì)算為例,書中詳細(xì)介紹了SuperSQL的關(guān)鍵技術(shù),以及在OLAP 數(shù)據(jù)分析、跨數(shù)據(jù)中心查詢優(yōu)化等多個(gè)場(chǎng)景中的應(yīng)用細(xì)節(jié)。作為騰訊大數(shù)據(jù)自研的跨數(shù)據(jù)源、跨數(shù)據(jù)中心、跨計(jì)算引擎的的高性能大數(shù)據(jù)SQL引擎,SuperSQL致力于優(yōu)化集群資源的使用,提升使用業(yè)務(wù)數(shù)據(jù)的效率,并幫助解決業(yè)務(wù)數(shù)據(jù)孤島問題。目前,SuperSQL 在騰訊內(nèi)網(wǎng)及外部客戶均已部署使用,對(duì)接多個(gè)跨數(shù)據(jù)中心集群,每個(gè)集群規(guī)模達(dá)數(shù)百臺(tái)機(jī)器。
圖:騰訊SuperSQL系統(tǒng)架構(gòu)
在第二部分,大數(shù)據(jù)團(tuán)隊(duì)主要介紹了騰訊在數(shù)據(jù)治理、數(shù)據(jù)應(yīng)用、機(jī)器學(xué)習(xí)等方面的建設(shè)經(jīng)驗(yàn),并對(duì)騰訊大數(shù)據(jù)產(chǎn)品及其在內(nèi)外部場(chǎng)景的實(shí)踐落地進(jìn)行了解讀。以騰訊自研機(jī)器學(xué)習(xí)平臺(tái)Angel為例,其功能涵蓋傳統(tǒng)機(jī)器學(xué)習(xí)、圖挖掘、圖學(xué)習(xí)、深度學(xué)習(xí)和隱私計(jì)算等,是國(guó)內(nèi)第一個(gè)在全球頂級(jí)AI開源基金會(huì)——LF AI基金會(huì)畢業(yè)的頂級(jí)項(xiàng)目。自 2017 年開源后,已被華為、小米、OPPO等一百多個(gè)公司和組織使用。在本書中,騰訊大數(shù)據(jù)團(tuán)隊(duì)對(duì)其系統(tǒng)架構(gòu)、運(yùn)行架構(gòu)以及功能特性進(jìn)行了逐層剖析,能有效幫助讀者建立起相關(guān)的深度認(rèn)知和理解。
而針對(duì)行業(yè)人群在大數(shù)據(jù)運(yùn)營(yíng)方面的廣泛痛點(diǎn),本書還從大數(shù)據(jù)平臺(tái)規(guī)劃、平臺(tái)治理、 運(yùn)維體系構(gòu)建、運(yùn)營(yíng)成本優(yōu)化、數(shù)據(jù)資產(chǎn)管理等方面系統(tǒng)性地介紹了騰訊積累的經(jīng)驗(yàn)。 也是在伴隨海量數(shù)據(jù)業(yè)務(wù)爆發(fā)式增長(zhǎng)過程中,以數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng),實(shí)現(xiàn)平臺(tái)高度自治為目標(biāo)的不斷探索的成果,為有大數(shù)據(jù)平臺(tái)構(gòu)建和運(yùn)維需求的企業(yè)和團(tuán)隊(duì)提供了實(shí)用的直接參考。
圖:騰訊大數(shù)據(jù)運(yùn)營(yíng)分析及應(yīng)用體系架構(gòu)
在剛剛召開的首屆騰訊云大數(shù)據(jù)峰會(huì)上,騰訊云副總裁劉煜宏透露,目前騰訊云的大數(shù)據(jù)平臺(tái)算力規(guī)模已經(jīng)突破千萬(wàn)核,日實(shí)時(shí)計(jì)算量達(dá)百萬(wàn)億級(jí)、日運(yùn)行容器數(shù)超億級(jí),日計(jì)算數(shù)據(jù)量數(shù)百PB,服務(wù)的企業(yè)客戶數(shù)超2萬(wàn)家,開源社區(qū)代碼貢獻(xiàn)量超800萬(wàn)行,進(jìn)一步呈現(xiàn)了騰訊在大數(shù)據(jù)領(lǐng)域的頂級(jí)實(shí)力。
