2015年12月18-19日，由InfoQ中國(guó)團(tuán)隊(duì)推出的面向高端技術(shù)管理者、架構(gòu)師的技術(shù)大會(huì)——ArchSummit全球架構(gòu)師峰會(huì)，在北京國(guó)家會(huì)議中心盛大舉辦。會(huì)議涉及云計(jì)算、新型O2O模式、互聯(lián)網(wǎng)+在線教育、新金融等多種話題，并邀請(qǐng)了70余位國(guó)內(nèi)外技術(shù)專(zhuān)家做出專(zhuān)題演講。美團(tuán)網(wǎng)絡(luò)技術(shù)專(zhuān)家陳志勇應(yīng)邀參加，在會(huì)議上向與會(huì)嘉賓分享了美團(tuán)網(wǎng)的網(wǎng)絡(luò)運(yùn)維實(shí)踐。
美團(tuán)的業(yè)務(wù)經(jīng)過(guò)5年多的發(fā)展，今年預(yù)計(jì)將達(dá)到千億級(jí)規(guī)模。同時(shí)美團(tuán)的業(yè)務(wù)類(lèi)型也早已突破了傳統(tǒng)團(tuán)購(gòu)范疇，在多個(gè)垂直領(lǐng)域取得了優(yōu)異的成績(jī)，比如貓眼電影、酒店、外賣(mài)等。
業(yè)務(wù)的高速發(fā)展對(duì)基礎(chǔ)設(shè)施提出了交付周期長(zhǎng)、利用率低、回收難、用量不可預(yù)估等挑戰(zhàn)。2012年起，美團(tuán)逐步創(chuàng)建自研云平臺(tái)。2013年5月，正式對(duì)外推出公有云服務(wù)，即美團(tuán)云(Meituan Open Services)。同年7月，美團(tuán)全業(yè)務(wù)遷移到云平臺(tái)。
美團(tuán)網(wǎng)是第一家完全虛擬化的TOP5電商網(wǎng)站，美團(tuán)云共享美團(tuán)技術(shù)和運(yùn)維資源，穩(wěn)定性經(jīng)久驗(yàn)證。然而，早期美團(tuán)云網(wǎng)路架構(gòu)存在諸多問(wèn)題。千兆網(wǎng)絡(luò)無(wú)法滿足分布式存儲(chǔ)對(duì)帶寬的需求;管理網(wǎng)、云內(nèi)網(wǎng)、云外網(wǎng)，三張網(wǎng)的成本及運(yùn)維代價(jià)大;接入交換機(jī)單點(diǎn)風(fēng)險(xiǎn)，如交換機(jī)升級(jí)或設(shè)備故障就會(huì)斷網(wǎng);VLAN可做的大二層規(guī)模有限;使用二級(jí)運(yùn)營(yíng)商的BGP帶寬，當(dāng)其互聯(lián)上級(jí)運(yùn)營(yíng)商出現(xiàn)問(wèn)題后，受影響用戶只能跨網(wǎng)訪問(wèn)，無(wú)法切換入口;不支持用戶自定義網(wǎng)絡(luò)，需要網(wǎng)管配置。
美團(tuán)云依靠強(qiáng)大的技術(shù)團(tuán)隊(duì)，不斷進(jìn)行優(yōu)化。陳志勇以美團(tuán)云三區(qū)為例，介紹了目前美團(tuán)云單機(jī)房公有云架構(gòu)。服務(wù)器雙萬(wàn)兆上聯(lián)，帶寬從1G到20G 分布式存儲(chǔ);接入交換機(jī)采用2臺(tái)設(shè)備堆疊，解決單點(diǎn)故障;采用Vxlan組網(wǎng)，三張網(wǎng)合一，overlay技術(shù)能提供萬(wàn)臺(tái)服務(wù)器規(guī)模的大二層;underlay采用OSPF，ECMP將所有網(wǎng)絡(luò)資源利用起來(lái)，不鎖定廠商;自建BGP平臺(tái)，但運(yùn)營(yíng)商故障時(shí)能實(shí)現(xiàn)多線BGP切換。當(dāng)用戶在mos.meituan.com上創(chuàng)建VM后，自研云平臺(tái)將同時(shí)下發(fā)配置給交換機(jī)和服務(wù)器，一鍵完成創(chuàng)建，無(wú)需運(yùn)維人員介入。
此后，陳志勇又詳細(xì)介紹了各個(gè)網(wǎng)絡(luò)組件。美團(tuán)云的網(wǎng)絡(luò)一分為二，overlay network和underlay network。Overlay彈性靈活，Underlay穩(wěn)定可擴(kuò)展。業(yè)務(wù)與物理鏈接和端口分離，不再受限于物理上的連接和端口數(shù)量，可以按照資源池的概念來(lái)分配網(wǎng)絡(luò)資源。Underlay作為整個(gè)SDN框架的基礎(chǔ)，充分吸取和延續(xù)了過(guò)去長(zhǎng)期積累的物理網(wǎng)絡(luò)優(yōu)勢(shì)，讓SDN每一個(gè)邁出去的腳步都是踏實(shí)的。
多機(jī)房部署也是美團(tuán)云的一大特色。一個(gè)機(jī)房一個(gè)ZONE，VM可在多個(gè)ZONE之間漂移，外網(wǎng)IP作為獨(dú)立組件支持任意綁定，實(shí)現(xiàn)VM和機(jī)房的解耦合。VM間流量、自建BGP平臺(tái)流量及私有云流量，均使用自建傳輸系統(tǒng)調(diào)度，用波道做到物理隔離。裸光纖+OTN，構(gòu)建美團(tuán)自建傳輸系統(tǒng)，只需新增OTN板卡就能做到無(wú)縫升級(jí)機(jī)房間帶寬。使用OLP做光纖中斷保護(hù)，達(dá)到電信級(jí)切換標(biāo)準(zhǔn)50ms。VM間流量由Underlay網(wǎng)絡(luò)承載，當(dāng)跨機(jī)房調(diào)度時(shí)容易被私有云流量搶占帶寬，QOS很好地解決帶寬復(fù)用問(wèn)題。
此外，陳志勇表示：“美團(tuán)云使用預(yù)端接布線，比起熔纖更加靈活。分段部署，當(dāng)光纖故障后，僅需更換某段即可。按房間部署ODF，統(tǒng)一規(guī)劃備纖，提高資源利用率。同時(shí)，標(biāo)簽、布線的統(tǒng)一，將有利于后續(xù)運(yùn)維工作的開(kāi)展。”
美團(tuán)云在本次會(huì)議上分享網(wǎng)絡(luò)架構(gòu)，展示了新技術(shù)在行業(yè)應(yīng)用中的最新實(shí)踐。為推動(dòng)技術(shù)提速業(yè)務(wù)，提供了參考與借鑒。
