在11月4日的2021騰訊數字生態(tài)大會的Techo Day技術峰會上,騰訊云副總裁、騰訊數據平臺部副總經理劉煜宏透露,截至目前,騰訊大數據的日實時計算量已經超過200萬億,在線模型訓練維度達到1萬億,大數據平臺算力1000萬核,日離線分析任務數1500萬,量級位居國內第一。騰訊大數據和AI繼續(xù)在國內保持領先優(yōu)勢。
劉煜宏表示:“企業(yè)數字化正在全面加速,企業(yè)對云服務的需求也在不斷增加,騰訊云在大數據和AI領域既要尋求技術突破,又要能把這些技術突破轉為產品和服務,讓技術真正落地為行業(yè)服務,才能讓技術產生價值。”
騰訊云副總裁、騰訊數據平臺部副總經理劉煜宏
構建企業(yè)數據連接器,助力企業(yè)更高效挖掘數據價值
隨著全球經濟數字化轉型的加快,企業(yè)對大數據的需求也日益強烈,復雜場景、規(guī)模成本和數據安全等問題都對大數據業(yè)務發(fā)展提出了新挑戰(zhàn)。比如用戶的超大規(guī)模數據需要更高的調度性能;元數據、小文件數的膨脹也會帶來資源碎片過多存儲效率下降、平臺規(guī)模龐大運維定位復雜等問題。
針對這些痛點,騰訊大數據在技術上實現多個突破,比如借助“自適應計算+數據編排”能力可以屏蔽復雜底層,簡化使用,用最優(yōu)執(zhí)行引擎解耦計算與存儲;“Caelus離在線混部+平臺大腦”可以讓資源得到充分利用,節(jié)省運營成本,通過資源削峰填谷,讓平臺運行更加智能化;“PowerFL安全聯合計算”的3072bit高強度數據加密,則可以在保護隱私的同時實現數據協作。
在技術實現突破的同時,騰訊云也基于自身在大數據的基礎產品能力、數據中臺能力、數據應用能力,構建連通業(yè)務與數據資產的企業(yè)數據連接器,幫助教育、金融、政務等多個行業(yè)更深入、更高效地挖掘數據價值。
以國內某教育平臺來說,在大數據使用時有明顯痛點,首先是擴容響應滯后,尤其短期有大量計算資源需求時;其次是資源利用率低,不同時段資源用量存在波峰波谷,在離線計算資源無法靈活調度;并且自建大數據成本高,不僅會為開發(fā)、運維帶來高成本,技術難度也大。基于此,騰訊云大數據通過云原生混合算力調度,讓離在線技術助力該平臺成本節(jié)約及效能提升。最終,在云原生存算分離技術、云原生混合算力調度技術、云原生分析加速技術的加持下,在線資源利用率提升了100%,固定算力降低了5000核,10分鐘計算資源拉起能力也提升至了20000核。
在另一個銀行案例中,數據孤島嚴重、存儲成本高、數據不標準且質量低成為了客戶痛點,騰訊云以TBDS為基礎的金融數據湖解決方案,幫助客戶消除數據孤島,做好數據治理,讓該客戶超50家分支機構建設了規(guī)模超1000節(jié)點的統一的大數據平臺,清洗治理的數據量超20PB,提升了數據質量和價值。
劉煜宏表示,騰訊云大數據源于開源,也積極回饋開源。騰訊大數據從2014年就開始開源,目前主導或捐贈了6個項目,為社區(qū)貢獻超過800萬行代碼,培養(yǎng)了近100位或PMC或Committer成員。今天,騰訊大數據正式開源Caelus和FireStorm兩大項目,把騰訊大數據在在離線混部、計算加速等技術突破的成果與所有開發(fā)者分享。
用AI技術為產業(yè)賦能,構建開放、可持續(xù)的生態(tài)
騰訊云大數據通過深耕應用拓展了產業(yè)創(chuàng)新的邊界,騰訊云AI則正在通過技術突破助力全領域智能,讓數字技術與現實世界深度融合。據劉煜宏介紹,騰訊云AI技術如今已經實現了由騰訊優(yōu)圖、AI Lab、WeChat AI、騰訊多媒體實驗室、騰訊云小微為技術支撐底座,騰訊云TI平臺、騰訊云小微對話式AI平臺為開發(fā)平臺,結合各行業(yè)的需求和行業(yè)經驗,沉淀了工業(yè)AI中臺、媒體AI中臺、政務AI中臺等解決方案,為泛政府、泛互聯網、工業(yè)、企業(yè)AI、金融、傳媒、出行、家居等不同領域提供行業(yè)應用。
目前,騰訊在計算機視覺領域有超過100項原子能力、超過6500個全球專利,發(fā)表在全球頂會論文800余篇,專利及論文數量位居中國互聯網公司第一,并多次刷新世界紀錄。
在語音AI領域也在不斷突破。比如騰訊語音智能,業(yè)務首創(chuàng)基于DNN全鏈路方案,可以對于回聲消除,聲音定位,語音分離,去混響及波束增強進行一體化處理技術。實車測試,在同時存在車外噪聲,車內廣播及后排干擾人聲的復雜條件下,大幅提升語音去回聲,降噪,分離整體性能,識別準確率由10%~50%提升至90%以上。云小微數智人則可以實現多模態(tài)人機交互,多維度為客戶賦能,助力行業(yè)客戶打造有智能、有形象、可交互的數字分身。
今年8月,騰訊云和生態(tài)伙伴慧眼科技聯合打造的騰慧飛瞳AI質檢儀正式發(fā)布。該產品針對目前3C結構件外觀檢測準確性差、效率低等難題,創(chuàng)造性的采用一站式智能化解決方案,突破制造業(yè)外觀檢測自動化的瓶頸問題,大幅提升檢測效率,解放質檢人力、優(yōu)化成本。借助前沿的AI能力,3C零部件制造商富馳高科原來利用人工進行的質檢工作,現在借助騰慧飛瞳AI質檢儀僅需幾秒就能完成對目標零件360度無死角的采圖、分析、分類的工作,速度提升10倍,并且在10多臺設備持續(xù)滿載生產的情況下,項目可以每年為富馳節(jié)省人力成本數千萬元,檢測的質量也得到明顯提高。
另一個AI技術加持的案例是騰訊云智媒體AI中臺,它從“媒體+AI”應用的實際需求出發(fā),依托騰訊內部諸多優(yōu)秀團隊的AI技術與最佳實踐,為媒體全業(yè)務流程打造應用服務。騰訊云智媒體AI中臺覆蓋多模態(tài)內容結構化、智能轉碼、超分、老片修復、視頻質檢等多維度應用,此外,可在平臺層提供智能推理、智能訓練、算法調度、可視化編排等能力,支持第三方算法、數據、應用接入,方便業(yè)務側的快速創(chuàng)新。使用后,可以讓媒體業(yè)務系統開發(fā)效率提升70%,場景貼合度提升50%,人員操作人效提升60%。
未來,騰訊云將繼續(xù)打造開放包容大數據和AI生態(tài),攜手更多行業(yè)合作伙伴,共同建設繁榮的云端應用生態(tài),推動企業(yè)數字化、智能化進程。