面對不期而至的流量高峰，在最短的時間內(nèi)將服務器部署規(guī)模擴大1倍，微博是如何實現(xiàn)的?
近日，微博研發(fā)中心高級架構師劉道儒和阿里云云上技術服務負責人丁原接受CSDN記者專訪，介紹了微博如何基于阿里云的混合云方案和Docker等開源技術構建混合云平臺來應對業(yè)務發(fā)展中面臨的流量峰值挑戰(zhàn)。
微博的混合云需求
作為典型的社交媒體平臺，微博的IT架構面臨的一大挑戰(zhàn)就是流量峰值，包括可預期峰值流量和隨機峰值流量兩種。前者如春晚和紅包的雙重刺激，后者如范冰冰李晨事件，都會導致微博發(fā)布量和請求量暴增，包括大量的圖像和視頻，超出了冗余服務器所能實現(xiàn)的最大負載。
以2016年春節(jié)為例，新浪微博日活躍用戶達到1.34億，同比去年增長31%。春晚直播期間，討論春晚的微博達到5191萬條，網(wǎng)友互動量達到1.15億，增長76%，春晚相關話題的總閱讀量達到182億次。截至除夕24點，網(wǎng)友搶微博紅包的總次數(shù)超過8億次。
社交媒體如微博一直都是各類熱點事件的爆發(fā)地，除了過年過節(jié)的流量峰值之外，隨機熱點事件帶來的流量峰值是很難預測到和提前做準備的，系統(tǒng)對穩(wěn)定性和彈性伸縮都有極高的要求。相比傳統(tǒng)的提前預估流量峰值去采購并部署服務，周期非常長，而且隨機熱點事件完全無法預測發(fā)生時間，很難做得到準實時的快速擴容，通過混合云架構，企業(yè)把公共云計算當做自有機房的延伸，利用云計算快速的應對節(jié)日和突發(fā)流量峰值帶來的海量彈性資源擴容需求，快速借用公共云的計算能力為己所用，充分發(fā)揮云計算的彈性伸縮能力，業(yè)務峰值流量過去后，又迅速將公共計算資源快速釋放掉，避免了高峰期后的閑置浪費。
當然，像微博這樣具有大量傳統(tǒng)IT資產(chǎn)的企業(yè)，短期把業(yè)務全部放到公共云計算也不太現(xiàn)實，這需要一個過程，混合云會架構是個很好的上云過渡路徑。對微博來說，混合云的部署對公共云平臺和微博技術團隊也存在很大的挑戰(zhàn)。
需要選擇性能指標能夠滿足微博高并發(fā)需求的公共云資源，例如充足的冗余資源、高速緩存以及網(wǎng)絡帶寬等，并且冗余資源具備一套快速分發(fā)、快速釋放的機制。
公共云資源需要和內(nèi)部服務器資源實現(xiàn)無縫銜接，所有資源網(wǎng)絡對業(yè)務系統(tǒng)來說是一致的，同時還要保證數(shù)據(jù)訪問和傳輸?shù)陌踩浴?/p>
內(nèi)部業(yè)務系統(tǒng)的架構需要改造以適應新的擴展模式，能夠快速通過API擴容，具備成熟的發(fā)布體系。
微博的混合云實踐
從資源、技術、團隊各方面考慮，微博選擇基于阿里云構建混合云平臺。如前所述，實現(xiàn)混合云，微博方面需要做內(nèi)部系統(tǒng)的改造，而對于阿里云來說，和微博的此次合作時間緊任務重，挑戰(zhàn)重重。
好在阿里云歷經(jīng)2015年天貓雙11這一全球最大規(guī)模的混合云實踐考驗，丁原表示，對于現(xiàn)在的阿里云來說，通過ECS鏡像、ESS彈性伸縮等功能，應用快速部署1000臺的效率幾乎和1臺的效率是相當?shù)模鎸ν话l(fā)性業(yè)務峰值壓力可快速通過云服務器ECS速實現(xiàn)大規(guī)模的服務器擴容。
更重要的是，阿里云專門挑選經(jīng)歷雙11考驗的資深技術專家組建了一個護航團隊，針對客戶業(yè)務壓力暴漲的情況提供全面的系統(tǒng)保障服務即護航服務，現(xiàn)場模擬業(yè)務狀況和排查問題。護航的內(nèi)容包括：系統(tǒng)化現(xiàn)有瓶頸定位，模擬真實業(yè)務場景進行系統(tǒng)壓測和容量摸底，峰值系統(tǒng)容量評估和擴容方案設計，安全保障，應用優(yōu)化，數(shù)據(jù)庫優(yōu)化等，為客戶提供護航期間的全程應急技術保障，協(xié)同客戶一起保障系統(tǒng)順利度過業(yè)務峰值。同時，護航會針對系統(tǒng)現(xiàn)有問題設計改造方案，以更貼近云計算和互聯(lián)網(wǎng)架構來設計現(xiàn)有的業(yè)務系統(tǒng)，應對未來更大的流量峰值。
與此同時，微博也通過熱門的Docker技術來抹平業(yè)務差異性實現(xiàn)快速擴容。事實上，微博于2014年4月就開始研究Docker，2015年1月完成內(nèi)網(wǎng)上線，經(jīng)過2016年元旦的測試，在2016年春節(jié)進行首次大規(guī)模應用。大規(guī)模部署Docker的目的，很大程度上就是為了滿足快速、彈性擴展的需求。因此，微博對Docker的主要運用就是Registry，可以快速創(chuàng)建和銷毀，同時不需要為Docker目前存在的一些還不成熟的或者復雜的功能買單。
劉道儒介紹，微博對 Docker Registry做了如下的主要改進：
前端部署了Nginx，并配置轉發(fā)策略，兼容Docker1.3+所有版本。
后端存儲均使用Ceph，便于彈性擴容。
阿里云中使用二級緩存的部署結構，二級緩存可迅速擴容，提高分發(fā)效率，同時減小回穿內(nèi)網(wǎng)的請求量。
高可用和性能的優(yōu)化。
劉道儒說：“通過這樣的改造之后，阿里云資源和微博原有的資源組成的池子對業(yè)務系統(tǒng)來說并無區(qū)別，但擴容更加無邊界和靈活。由此，微博實現(xiàn)了從提前擴容到實時擴容服務器的升級，可以結合實際的流量負載與實時數(shù)據(jù)分析對預估峰值進行動態(tài)調(diào)整，一旦發(fā)現(xiàn)請求量有暴漲趨勢，就可以啟動應急方案，在最短的時間之內(nèi)將服務器部署規(guī)模擴大一倍。”
微博在應對2016年春節(jié)峰值流量時上了1400多臺云服務器ECS，其中核心業(yè)務需要800多臺。當監(jiān)控系統(tǒng)發(fā)現(xiàn)資源使用量達到預先設定的閾值，就會自動申請阿里云資源。通過混合云擴容，相對于之前提前擴容的方案，資源成本節(jié)約40%，同時運維工程師也擺脫了很多基礎類的手工運維的工作，將精力放在系統(tǒng)開發(fā)等工作。
關于未來的計劃，劉道儒表示，主要精力還是不斷完善系統(tǒng)。例如，PHP體系帶本地緩存，其機器日常的管理，如容量評估、上線/下線，還不能完全自動化，還需要提煉一個比較通用的解決方案。
阿里云的混合云觀
事實上，阿里云的混合云、護航服務不僅僅在于微博。其他的社交媒體公司，比如陌陌，在海量圖片存儲、大數(shù)據(jù)分析方面，也在通過阿里云技術提高用戶體驗。丁原介紹，除了社交媒體行業(yè)，護航保障服務基本覆蓋到了各行各業(yè)，包括游戲，金融，網(wǎng)站，電商，物流，網(wǎng)站，政企行業(yè)等，典型的包括12306春運，新浪微博，芒果TV，天弘基金，世界互聯(lián)網(wǎng)大會，紅嶺創(chuàng)投等。
在阿里云看來，優(yōu)秀的混合云技術架構需要滿足如下特點：
對客戶來說，公共云和專有云要有一致的開發(fā)和管理體驗，業(yè)務體驗是無縫的。
從IaaS到PaaS的全棧架構，讓客戶能夠真正按照資源配比實現(xiàn)混合云，實現(xiàn)如傳統(tǒng)虛擬化的功能。
要做到無縫的體驗，VPC是一個重要的功能，VPC完全當做物理網(wǎng)絡的隔離，實現(xiàn)多租戶，并允許客戶定制自己的網(wǎng)絡，這是公共云多租戶無法實現(xiàn)的。阿里云VPC在開始設計的時候充分考慮企業(yè)級應用對網(wǎng)絡穩(wěn)定性、靈活性、高性能、高可用、大容量和功能豐富性的要求，在架構設計和功能實現(xiàn)上兼顧了多方面的要求。同時，阿里云VPC還可以輕松實現(xiàn)不同地域之間的互聯(lián)，用戶點點鼠標就可以擁有一條跨地域的專線。
丁原表示，阿里云是一個開放的平臺，在選擇混合云合作伙伴的時候，主要關注合作伙伴是否可以和阿里云形成優(yōu)勢互補，通過技術或者商業(yè)合作給客戶提供真正有價值的混合云解決方案，解決客戶的痛點問題。客戶的IT環(huán)境是多種多樣的，發(fā)展階段和發(fā)展路徑也不盡相同，阿里云會持續(xù)擴展生態(tài)，和合作伙伴一起，提供多種解決方案滿足不同客戶的不同應用場景。
