2015年12月18-19日，由InfoQ中國團(tuán)隊(duì)推出的面向高端技術(shù)管理者、架構(gòu)師的技術(shù)大會——ArchSummit全球架構(gòu)師峰會，在北京國家會議中心盛大舉辦。會議涉及云計(jì)算、新型O2O模式、互聯(lián)網(wǎng)+在線教育、新金融等多種話題，并邀請了70余位國內(nèi)外技術(shù)專家做出專題演講。美團(tuán)網(wǎng)絡(luò)技術(shù)專家陳志勇應(yīng)邀參加，在會議上向與會嘉賓分享了美團(tuán)網(wǎng)的網(wǎng)絡(luò)運(yùn)維實(shí)踐。
美團(tuán)的業(yè)務(wù)經(jīng)過5年多的發(fā)展，今年預(yù)計(jì)將達(dá)到千億級規(guī)模。同時美團(tuán)的業(yè)務(wù)類型也早已突破了傳統(tǒng)團(tuán)購范疇，在多個垂直領(lǐng)域取得了優(yōu)異的成績，比如貓眼電影、酒店、外賣等。
業(yè)務(wù)的高速發(fā)展對基礎(chǔ)設(shè)施提出了交付周期長、利用率低、回收難、用量不可預(yù)估等挑戰(zhàn)。2012年起，美團(tuán)逐步創(chuàng)建自研云平臺。2013年5月，正式對外推出公有云服務(wù)，即美團(tuán)云(Meituan Open Services)。同年7月，美團(tuán)全業(yè)務(wù)遷移到云平臺。
美團(tuán)網(wǎng)是第一家完全虛擬化的TOP5電商網(wǎng)站，美團(tuán)云共享美團(tuán)技術(shù)和運(yùn)維資源，穩(wěn)定性經(jīng)久驗(yàn)證。然而，早期美團(tuán)云網(wǎng)路架構(gòu)存在諸多問題。千兆網(wǎng)絡(luò)無法滿足分布式存儲對帶寬的需求;管理網(wǎng)、云內(nèi)網(wǎng)、云外網(wǎng)，三張網(wǎng)的成本及運(yùn)維代價(jià)大;接入交換機(jī)單點(diǎn)風(fēng)險(xiǎn)，如交換機(jī)升級或設(shè)備故障就會斷網(wǎng);VLAN可做的大二層規(guī)模有限;使用二級運(yùn)營商的BGP帶寬，當(dāng)其互聯(lián)上級運(yùn)營商出現(xiàn)問題后，受影響用戶只能跨網(wǎng)訪問，無法切換入口;不支持用戶自定義網(wǎng)絡(luò)，需要網(wǎng)管配置。
美團(tuán)云依靠強(qiáng)大的技術(shù)團(tuán)隊(duì)，不斷進(jìn)行優(yōu)化。陳志勇以美團(tuán)云三區(qū)為例，介紹了目前美團(tuán)云單機(jī)房公有云架構(gòu)。服務(wù)器雙萬兆上聯(lián)，帶寬從1G到20G 分布式存儲;接入交換機(jī)采用2臺設(shè)備堆疊，解決單點(diǎn)故障;采用Vxlan組網(wǎng)，三張網(wǎng)合一，overlay技術(shù)能提供萬臺服務(wù)器規(guī)模的大二層;underlay采用OSPF，ECMP將所有網(wǎng)絡(luò)資源利用起來，不鎖定廠商;自建BGP平臺，但運(yùn)營商故障時能實(shí)現(xiàn)多線BGP切換。當(dāng)用戶在mos.meituan.com上創(chuàng)建VM后，自研云平臺將同時下發(fā)配置給交換機(jī)和服務(wù)器，一鍵完成創(chuàng)建，無需運(yùn)維人員介入。
此后，陳志勇又詳細(xì)介紹了各個網(wǎng)絡(luò)組件。美團(tuán)云的網(wǎng)絡(luò)一分為二，overlay network和underlay network。Overlay彈性靈活，Underlay穩(wěn)定可擴(kuò)展。業(yè)務(wù)與物理鏈接和端口分離，不再受限于物理上的連接和端口數(shù)量，可以按照資源池的概念來分配網(wǎng)絡(luò)資源。Underlay作為整個SDN框架的基礎(chǔ)，充分吸取和延續(xù)了過去長期積累的物理網(wǎng)絡(luò)優(yōu)勢，讓SDN每一個邁出去的腳步都是踏實(shí)的。
多機(jī)房部署也是美團(tuán)云的一大特色。一個機(jī)房一個ZONE，VM可在多個ZONE之間漂移，外網(wǎng)IP作為獨(dú)立組件支持任意綁定，實(shí)現(xiàn)VM和機(jī)房的解耦合。VM間流量、自建BGP平臺流量及私有云流量，均使用自建傳輸系統(tǒng)調(diào)度，用波道做到物理隔離。裸光纖+OTN，構(gòu)建美團(tuán)自建傳輸系統(tǒng)，只需新增OTN板卡就能做到無縫升級機(jī)房間帶寬。使用OLP做光纖中斷保護(hù)，達(dá)到電信級切換標(biāo)準(zhǔn)50ms。VM間流量由Underlay網(wǎng)絡(luò)承載，當(dāng)跨機(jī)房調(diào)度時容易被私有云流量搶占帶寬，QOS很好地解決帶寬復(fù)用問題。
此外，陳志勇表示：“美團(tuán)云使用預(yù)端接布線，比起熔纖更加靈活。分段部署，當(dāng)光纖故障后，僅需更換某段即可。按房間部署ODF，統(tǒng)一規(guī)劃備纖，提高資源利用率。同時，標(biāo)簽、布線的統(tǒng)一，將有利于后續(xù)運(yùn)維工作的開展。”
美團(tuán)云在本次會議上分享網(wǎng)絡(luò)架構(gòu)，展示了新技術(shù)在行業(yè)應(yīng)用中的最新實(shí)踐。為推動技術(shù)提速業(yè)務(wù)，提供了參考與借鑒。
