近日，快手大數(shù)據(jù)團(tuán)隊聯(lián)合“快手中學(xué)”，舉辦“快手?jǐn)?shù)據(jù)管治技術(shù)交流會”，各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者報名參與。快手是短視頻行業(yè)開創(chuàng)者與引領(lǐng)者，致力于成為全球最癡迷于為客戶創(chuàng)造價值的公司，幫助人們發(fā)現(xiàn)所需、發(fā)揮所長，持續(xù)用有溫度的科技提升每個人獨特的幸福感。
在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后，支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的快手大數(shù)據(jù)平臺，秉承“以領(lǐng)先的大數(shù)據(jù)技術(shù)，激活數(shù)據(jù)價值，賦能業(yè)務(wù)，打造快手核心競爭力”的使命。
日處理數(shù)據(jù)集群規(guī)模超過 3W，數(shù)據(jù)量超過 3EB，日入數(shù)據(jù)量超 5PB，例行任務(wù)數(shù)超 30W。今年9月，快手曾圍繞“數(shù)據(jù)架構(gòu)”這一主題舉辦了“快手大數(shù)據(jù)平臺架構(gòu)技術(shù)交流會”。本次交流則聚焦“數(shù)據(jù)管治”主題，明年將繼續(xù)開展更多數(shù)據(jù)領(lǐng)域相關(guān)主題活動，歡迎在快手APP搜索并關(guān)注“快手大數(shù)據(jù)”官方賬號獲取活動資訊。
（▲出品人介紹）
（▲快手?jǐn)?shù)據(jù)工廠團(tuán)隊負(fù)責(zé)人 董西成）
首先由快手?jǐn)?shù)據(jù)工廠團(tuán)隊負(fù)責(zé)人董西成帶來開場致辭。他介紹，快手在數(shù)據(jù)管治領(lǐng)域涉及的方面非常廣泛，包括數(shù)據(jù)規(guī)范、資源控制、集成交換、數(shù)據(jù)建模等，為了推進(jìn)數(shù)據(jù)管治，需要在技術(shù)產(chǎn)品、規(guī)范流程、組織等方面進(jìn)行考慮。
（▲快手?jǐn)?shù)據(jù)管治體系）
本次交流從數(shù)據(jù)管治的標(biāo)準(zhǔn)規(guī)范、資源管控、數(shù)據(jù)質(zhì)量和數(shù)據(jù)服務(wù)四個方面展開分享，由來自快手的數(shù)據(jù)研發(fā)專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個主題演講。
孫偉介紹了快手在數(shù)據(jù)中臺化過程中由于模型不規(guī)范帶來的數(shù)據(jù)孤島、指標(biāo)不一致、模型質(zhì)量差等一系列問題，并針對這些問題結(jié)合元數(shù)據(jù)驅(qū)動的思路制定了治理方案，從元數(shù)據(jù)驅(qū)動問題的發(fā)現(xiàn)再到治理優(yōu)化，最終實現(xiàn)數(shù)據(jù)模型的規(guī)范化。
從快手 EB 級數(shù)據(jù)量下對于存儲成本管理所遇到的涉及面廣、成本意識弱、缺乏有效方法等問題出發(fā)，程偉站在成本分析的角度，制定相應(yīng)的存儲成本控制策略，并以專項數(shù)據(jù)治理和自驅(qū)式數(shù)據(jù)管理相結(jié)合的方式去推進(jìn)落地，從而達(dá)到存儲成本管理的目的。
楊釗分享了快手的數(shù)據(jù)保障理念，并通過體系化的方式，保障數(shù)據(jù)完整、準(zhǔn)確、一致、及時。基于上述保障體系，詳細(xì)介紹了快手在直播場景通過需求流程管理、測試、質(zhì)檢、應(yīng)急方案等保障策略，以及這些保障策略在直播事前、事中、事后具體的執(zhí)行手段，如雙鏈路設(shè)計、壓力測試、應(yīng)急方案制定等，保障了在數(shù)據(jù)量巨大，指標(biāo)計算復(fù)雜等困難情況下，依然能夠保障整個數(shù)據(jù)產(chǎn)品的產(chǎn)出及時，數(shù)據(jù)準(zhǔn)確。
當(dāng)談到元數(shù)據(jù)平臺和相關(guān)應(yīng)用在快手的發(fā)展過程、現(xiàn)狀及當(dāng)前快手元數(shù)據(jù)平臺的架構(gòu)時，薛言分析了面對數(shù)十種的資產(chǎn)、過億的實體規(guī)模的異構(gòu)元數(shù)據(jù)，是如何進(jìn)行抽象及管理的。并通過找數(shù)、全鏈路血緣、數(shù)據(jù)治理平臺等幾個主要的應(yīng)用場景，展示了元數(shù)據(jù)在快手大數(shù)據(jù)平臺中發(fā)揮的作用和價值。
劉一凡介紹了快手在數(shù)據(jù)中臺化建設(shè)過程中，在指標(biāo)領(lǐng)域建設(shè)所面臨的缺乏流程、規(guī)范引起的口徑不一致、反復(fù)梳理重構(gòu)、缺乏統(tǒng)一服務(wù)引起的數(shù)據(jù)出口不一致等問題。并針對上述問題分享了流程、規(guī)范、組織以及系統(tǒng)方面的整體解決思路，重點闡述了 OneMetric 以及 OneService 兩個核心系統(tǒng)模塊的系統(tǒng)設(shè)計及其關(guān)鍵技術(shù)。
（▲演講嘉賓合影：從左至右，分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡）
本次交流采取線下線上結(jié)合的參會方式。線下開放了部分參會名額，所有現(xiàn)場觀眾需佩戴口罩，確保測溫和健康寶狀態(tài)正常，在簽署健康聲明后方可入場，入會就座時也均保持了一定間隔。此外，交流全程還通過“快手 APP”直播，觀看總?cè)藬?shù)超3萬人。
（▲現(xiàn)場簽到）
快手以技術(shù)為核心競爭力，十分重視技術(shù)創(chuàng)新和應(yīng)用，同時也希望通過更多更廣泛的技術(shù)交流，和業(yè)內(nèi)開發(fā)者分享經(jīng)驗，碰撞出更多智慧火花，推動技術(shù)不斷前進(jìn)。“快手中學(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺，旨在通過提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流，助力人才成長，提升專業(yè)能力和專業(yè)影響力。
2020年“快手中學(xué)”聯(lián)合快手技術(shù)團(tuán)隊共舉辦了四場技術(shù)交流活動，內(nèi)容涉及移動端、前端、數(shù)據(jù)平臺架構(gòu)及數(shù)據(jù)管治。未來，由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長期開展。
