微票兒，一個近期特別引人關注的網上購票平臺：估值近百億、與格瓦拉合并、年增長率超4000%、月活突破2千萬，覆蓋全國500個城市4500多家影院，日出票達100萬張，峰值200萬張……
這一連串的數據背后，有著什么樣的支撐技術?日前，微影時代研發中心技術副總裁楊森淼做客“騰訊云會客廳”，對話騰訊云副總裁曾佳欣，解讀了微票兒年增長4000%背后的大數據和云計算技術體系。
楊森淼表示，微票兒的核心在于利用大數據做精準營銷及服務，通過卷積神經網絡(CNN)、奇異值分解(SVD)等算法對 200TB 用戶數據和行業數據進行分析，微票兒得以精準地把握用戶需求，提升了票房轉化率;同時，面對用戶量高速增長時期高峰值、大流量的挑戰，云計算資源的高伸縮性、安全性也是支撐不間斷運營的必備條件。
騰訊云副總裁曾佳欣(右)對話微票兒技術副總裁楊森淼(左)
大數據與深度學習的應用
成立僅短短500多天，楊森淼認為，微票兒能夠入駐“7億活躍用戶的微信、8億活躍用戶的QQ”，大數據是其核心優勢。
微票兒會根據用戶熱度建議影院優化排片，首先通過數據分析用戶位置和用戶附近的影院，然后反哺上游，并為影院經理也開發微票專業版，幫助他們了解到自身影院數據，以確定排期和行業大盤。可以說我們的核心競爭力就是利用整個大數據來為電影行業、演出及體育行業去做服務、連接和營銷。
具體而言，微票兒大數據分析的數據來源主要包括4大類：
微票兒服務器生產的日志，包括請求訪問的數據、接口調用產生的各種日志;
業務積累的數據，像影片排期、票房、交易訂單的數據、每一項營銷活動、評論等;
行業大數據，主要是泛娛樂行業網站外部可查可統計的數據及報告;
電影社區和用戶互動數據。
目前微票兒產生的日志條目數上百億條，業務累計的數據量不少于千萬量級，行業大數據則是以爆炸性的速度不斷擴展，目前微票兒的大數據的數據存儲總量已達200T。
微票兒通過將這些數據充分融合，為每個用戶、電影、演出、渠道實體構建完整的畫像，這其中的難度主要在于不同來源的數據的關系建立，數據種類繁雜，來源不一導致很難構建統一的映射關系，目前微票兒通過不斷完善匹配關系表再輔以匹配的模型，如語義匹配，海報或宣傳照的相似度圖像匹配等進行校正，不斷的將數據融合滿足業務上的拓展及應用。
算法
從邏輯上來看，這個過程又包含了兩個部分的算法。
1. 特征工程算法
特征工程是指為了提高算法準確性，對數據做的一系列數學變換。這部分工程尤為重要，不光考驗算法工程師的數學能力，同樣考驗工程能力。
巨大的數據集合無法在單機上進行特征抽取的時候，就需要工程人員需要從單機算法設計成為并行特征抽取算法。微票兒特征抽取工程上多采用深度學習(Deep Learning)技術，這是因為深度學習天然的網絡拓補結構更容易并行，并行存儲也可以滿足龐大數據量的存儲需求。
當然，這些算法更多的是要去迎合使用場景。比如CNN(Convolutional Neural Network)和SVD(Singular Value Decomposition)，這兩種降維方法會因為業務場景不同而區分使用。
2. 目標結果算法
通過特征工程算法得到的重要維度，交給“目標結果算法”來處理。
除了常規機器學習/深度學習算法以外，微票兒對于不確定數學的相關算法也有一些應用。因為許多場景下，精確估計表現并不是很理想，尤其當自變量解釋能力不強的時候。
比如常用的 Regression 算法對于確定信息有著極高的預測能力，但是對于不確定信息來說顯得比較無力。針對這類場景，微票兒采用了不確定信息的描述，諸如“Entrop(熵)”和“lyapunov”。
計算平臺
計算架構上，由于深度學習技術的應用突破更多的是來源于模式識別，所依賴平臺多為造價昂貴的CUDA平臺(微票兒完成“圖片特征抽取”這樣的大型任務，會消耗掉500臺左右的集群資源)。因此，除了日常所需的數據存儲和抽取集群以外，微票兒把算法重點放在更遠的并行內存計算技術上。
楊森淼希望可以把深度學習計算并行在造價低廉的內存計算平臺上(如Spark集群)，可以在不減少輸入參數和神經網絡規模的前提下，更優地完成任務。為了抵消與高速“GPU”的速度差，微票兒使用了眾多集群，并采用“伸縮”模式，訓練過程結束之后，集群自動伸縮為一般模式,這樣避免了與“GPU”集群一樣的硬件必須消耗問題。
很容易看到，大數據平臺不完全在云上。楊森淼比較了自建大數據平臺和云大數據平臺的優劣：
1. 自建大數據平臺的優點
用戶根據自身需求規劃建設完全貼合業務需求的大數據平臺，且平臺建設與業務發展相互促進。
技術機構版本的升級、新技術的引入，資產管理、自動化運維、權限認證等系統研發完全由用戶自己決定，可控性強。
大數據平臺技術團隊對架構中每項技術都會有持續深入的研究，保障了平臺的穩定及不斷創新，增強了公司的技術影響力。
2. 自建大數據平臺的缺點
對平臺技術團隊成員的綜合能力(學習能力、創新能力)要求較高。
IT行業的特殊性、對團隊成員的穩定性要求較高。
3．云大數據平臺的優點
服務商有完善的解決方案體系，根據用戶的具體需求及應用場景為用戶提供合適的技術架構。
每套技術架構又是一套完整的生態系統，除了大數據平臺本身，還附有資產管理系統、自動化運維系統、監控報警系統、權限認證系統、安全保障系統、各層面HA等。
4. 云大數據平臺的缺點
提供給客戶的每套解決方案往往不能完全貼合用戶需求，加上技術架構各個組件及環節的定制封裝，為用戶增加了不同程度的學習及維護成本。
當用戶需要將一些前沿技術或第三方組件整合到云大數據平臺時，服務商往往需要很長的時間甚至直接告訴用戶暫沒有這方面的研發計劃。
微票兒根據業務場景選擇自建平臺或者云平臺：
業務數據倉庫的建立目前還在本地物理集群，因為涉及業務數據量大，且計算及配置環節較多，對數據準確度要求較高。
一些競品分析預測、票房預測、輿情預測及用戶行為分析等方面的分析、預測類計算，則是在云上完成的。一是因為數據來源較多，變化較快，云存儲及計算資源申請分配靈活，可以較快響應需求;二來微票兒所有業務數據庫都在云上，這樣傳輸數據也更加方便。
一些實時計算及準實時業務服務，也大都在云上進行，這樣可以最大程度的縮短由于網絡或數據交互帶來的時延。
數據傳輸方面，關系數據T+1與T+0數據批量同步，百萬級數據同步基本在1分鐘內完成，流數據實時接收處理，秒級響應。
后續努力的方向，楊森淼表示，是如何發揮好在“大數據和社交”兩個方面的核心優勢，用“懂社交的大數據”把電影演出等娛樂產業和觀眾更好的連接在一起，比如騰訊云的優圖人臉識別有效幫助了微票兒的數據采集，而這個能夠更加豐富自身大數據，實現更好的洞察。
云計算保障無縫擴容
作為網上購票平臺，在用戶量高速增長時期，都不可避免的會遇到高峰值、大流量的挑戰，如何擁有一個穩定、安全的服務器，無疑是最關鍵的問題。今年國慶檔，微票兒在中國電影票房的份額占比突破25%，日均出票量達到100多萬，峰值甚至高于200多萬儲票量——服務流量較日常值最多增長四倍多，各個服務單元也需迅速擴容4-6倍的容量。
楊森淼表示，傳統IDC機房方式在基礎設施建設、安全管理、寬帶和硬件快速擴容等多個方面有著很多的弊端，自主購買硬件設備也會帶來大量IT成本投入，還需要一個巨大的運維團隊。通過與騰訊云的合作，在購票高峰時段，微票兒迅速通過云去擴容。不僅如此，騰訊云的動態可擴展性有效幫助微票兒面對每日活動，快速擴展，并在高峰后及時退掉擴容設備，節約資源。
選擇騰訊云，是微票兒基于詳細考察和比較國內幾家主流云服務公司，針對靈活度和擴展性、售后服務響應時間、平臺服務器性能和價格等幾個因素進行綜合評判之后做出的決策。楊森淼表示，如此選擇的原因，是比較看重騰訊云技術團隊的專業性和技術性。
在騰訊云平臺上，隨著微票兒的服務極速擴張，從云主機云DB負載均衡CDN安全掃描分布式防御等平臺提供的各個功能都迅速快捷的得到使用，但每種新鮮事物在初次使用的時候肯定都會碰到問題，加之個別服務的使用與傳統IDC方式的區別，微票兒在使用過程中確實碰到了一些小問題，不過在騰訊云平臺的強大的技術支持團隊的快速高效的溝通下，都很快解決了。楊森淼表示，通過騰訊云的服務，微票兒的運維團隊人并不多，但是每一次業務高峰期，都能迅速做出反應。
另外，微票兒在“云”上，DDOS攻擊等外部攻擊都無需自己擔心。騰訊云有覆蓋全國400+的網絡節點，以及百G的DDOS防護能力，能夠有效幫助微票兒解決平臺用戶量劇增問題。不僅如此，騰訊云在云服務器、CDN加速服務、云監測、負載均衡等方面，也在為微票兒提供著高性能、專業、可靠的服務支持。
總結
在移動互聯網的時代，各行各業都在不斷的產生著變革，微票兒借助大數據、云計算等先進技術力量，得以在日益嚴峻競爭環境下脫穎而出。
楊森淼建議，創業者在移動互聯網時代應該大膽地擁抱新技術，擁抱云計算帶來的便利。她認為，IT的技術演進和變化非常之快，在最近的3-5年，云計算和移動化應該會有很大的需求并成為主流。未來，大數據和社交將幫助微票兒更好地連接用戶，云計算則為微票兒提供更專業的移動互聯網+O2O運營服務。
