2009年,發(fā)生了兩件看似不起眼的事。
初春剛過,阿里云在北京一棟沒有暖氣的寫字樓寫下了飛天第一行代碼。
同年11月11日,淘寶商城啟動了一個叫做雙11的促銷活動。
誰也沒想到,多年以后他們會是現(xiàn)在這模樣。
前傳
2007年淘寶的交易額突破了400億,技術(shù)團隊卻喜憂參半:現(xiàn)有集中式架構(gòu)已經(jīng)捉襟見肘,該如何應(yīng)對?
隨即啟動的分布式改造獲得巨大成功,淘寶所有的業(yè)務(wù)都做了模塊化。
盡管這次技術(shù)升級在現(xiàn)在看來存在諸多局限性:更多的是為了應(yīng)對不斷增多的圖片緩存,在CDN端對海量的圖片緩存做了一些限流操作。但就是這次改造成就了歷史上第一個雙11,2009年雙11當天的流量達到了一個高峰,在舊的架構(gòu)體系下,這幾乎是一項不可能完成的任務(wù)。
一年后,飛天的第一個版本上線,僅有幾十臺機器的集群開始服務(wù)第一個內(nèi)部客戶——阿里金融。
這些探索讓所有人看到了一個趨勢:用分布式的方法將傳統(tǒng)、昂貴的小型機硬件和軟件,替換成通用的X86的服務(wù)器集群,虛擬化等技術(shù)可以讓計算能夠按量、隨時被啟動。
流量狂奔:脈沖計算
從計算機誕生到90年代,計算資源都是作為“可計劃性”的資源來使用。無論是探索月球,還是研究基因的奧秘,計算資源本身是可規(guī)劃的。然而,互聯(lián)網(wǎng)時代的到來,一個爆發(fā)性事件,就有可能挑戰(zhàn)整個計算資源,不確定性如影隨形。
毫無疑問,雙11就是這樣一個典型場景。
2011雙11的流量洪峰給技術(shù)團隊留下了午夜驚魂般難忘的回憶:系統(tǒng)性技術(shù)問題,使大量商家可能出現(xiàn)超賣。
事后,這群國內(nèi)互聯(lián)網(wǎng)行業(yè)最優(yōu)秀的技術(shù)人開始意識到這已經(jīng)不僅僅是一場商業(yè)促銷活動,更是一次技術(shù)大考。
次年,天貓與阿里云、萬網(wǎng)宣布聯(lián)合推出聚石塔平臺,率先以云計算為“塔基”,為天貓、淘寶平臺上的電商及電商服務(wù)商提供IT基礎(chǔ)設(shè)施。
基于阿里云的ECS云服務(wù)器、RDS云數(shù)據(jù)庫、SLB負載均衡網(wǎng)絡(luò),商家訂單源源不斷的推送到商家平臺上,保障了數(shù)據(jù)的穩(wěn)定和延續(xù)。這是云計算首次參與雙11,并且實現(xiàn)了191億的交易總額。
飛天的高速成長也給了所有人信心:5年的時間,飛天平臺集群規(guī)模從1500臺到3000臺,2013年8月,單集群超越5000臺,同時支持多集群跨機房計算……
接下來幾年,云計算逐漸成為這場狂歡節(jié)中的基石,到2014年,聚石塔上96%的交易使用了阿里云。
2015年開始,雙11構(gòu)建了全球最大的混合云,將公共云和專有云無縫連接。
而這些成果最終成為了全社會的能力:無論是春節(jié)在12306搶票,還是在世界杯期間的狂歡,抑或是微博上的明星八卦,脈沖計算的能力在今天已經(jīng)變成了常態(tài)。
數(shù)據(jù)平臺,計算創(chuàng)造價值
2013年前后,“船票論”在互聯(lián)網(wǎng)圈極為流行。“船票”成為了人們對于一家公司有沒有未來的判斷依據(jù)。至于如何拿到這張船票,彼時都非常模糊。
然而,移動端帶來的海量數(shù)據(jù)卻是真實存在的,移動端帶來的新需求,也推動了阿里云大數(shù)據(jù)平臺的發(fā)展。
鮮為人知的是,2004年,為了從大數(shù)據(jù)中分析當前狀況,并預(yù)測未來的趨勢,阿里就擁有了第一個大數(shù)據(jù)倉庫,到2008年,淘寶的業(yè)務(wù)量與數(shù)據(jù)量已達到2004年的數(shù)千倍,為了讓數(shù)據(jù)成為生產(chǎn)資料,從底層重構(gòu)大數(shù)據(jù)技術(shù)就顯得尤為重要。
2010年春,大數(shù)據(jù)引擎MaxCompute的前身SQL Engine第一版上線,運行在當時30臺機器的飛天集群上。
2011年,飛天團隊開始探索支撐集團內(nèi)部數(shù)倉業(yè)務(wù),在1500臺機器上并行運行云梯2的生產(chǎn)作業(yè),并取得了不輸于Hadoop的性能和穩(wěn)定性成績。
飛天5K項目之后,MaxCompute隨之進入5000臺機器和跨機房調(diào)度時代,并且可以在377秒完成100TB的排序。
通過MaxCompute引擎助力,從2014年雙11開始,千人千面成為常態(tài)?,F(xiàn)在,這一產(chǎn)品已經(jīng)成為阿里巴巴的主力計算平臺:
阿里巴巴集團99%的數(shù)據(jù)存儲以及95%的計算能力使用MaxCompute;
每天有超過500萬個作業(yè)在平臺上運行;
2017年雙11,MaxCompute單日數(shù)據(jù)處理超過320PB。
幾年過去,“船票論”煙消云散,然而大數(shù)據(jù)平臺帶來的價值已顯山露水,通過大數(shù)據(jù)與人工智能算法的結(jié)合,MaxCompute已成為ET大腦最重要的組成部分,ET城市大腦自動指揮城市路口信號燈,并且成功應(yīng)用于馬來西亞的交通治理;ET工業(yè)大腦推動工廠取得更好的良品率,致力于幫助制造企業(yè)提升1%的良品率。
從數(shù)字化阿里到數(shù)字化城市,MaxCompute可以承載EB級的數(shù)據(jù)存儲能力,成為全球首個100TB規(guī)模Bigbench測試通過的大數(shù)據(jù)計算平臺;在公共云上覆蓋國內(nèi)外的十幾個國家和地區(qū),專有云上部署超過100+套。
史上最大規(guī)模的人機協(xié)同
2017年的雙11被認為是人類歷史上最大規(guī)模的人機協(xié)同“超級工程”:技術(shù)運維、商品推薦、客服、支付、物流等各個環(huán)節(jié)都引入機器智能。
數(shù)據(jù)、計算力、算法是人工智能的三大核心要素。飛天在通用計算服務(wù)的基礎(chǔ)上,開始探索面向人工智能的異構(gòu)計算。
2017年9月12日,阿里云宣布推出全新一代異構(gòu)計算加速平臺,在行業(yè)內(nèi)第一次覆蓋了包括AMD、NVIDIA的GPU和Intel、XILINX的FPGA在內(nèi)的所有6款主流異構(gòu)實例,提供最高可達75TFLOPS的算力。
全新的基礎(chǔ)設(shè)施讓全球最大規(guī)模的人機協(xié)同成為了可能。雙11大量AI和視頻轉(zhuǎn)碼業(yè)務(wù)部署在ECS的GPU集群之上,包括視頻云的視頻智能處理、阿里小蜜、拍立淘和新零售的智能供應(yīng)鏈管理等AI業(yè)務(wù)都通過阿里云異構(gòu)計算GPU昊天平臺進行加速。
阿里巴巴數(shù)據(jù)中心機器人“天巡”每天在機房巡邏,能接替運維人員以往30%的重復(fù)性工作。
AI調(diào)度官“達靈”將數(shù)據(jù)中心資源分配率拉升到90%以上。
人工智能助手‘阿里小蜜’在雙11當天承擔95%的客服咨詢。
菜鳥智慧貨倉機器人單日可發(fā)貨超過100萬件。
AI設(shè)計師“鹿班”,在雙11期間設(shè)計了4.1億張商品海報。
阿里機器智能推薦系統(tǒng)雙11當天為用戶生成超過567億個專屬“貨架”,像智能導(dǎo)購員一樣,給消費者“億人億面”的個性化推薦。
半年后的武漢云棲大會上,阿里云首次和合作伙伴一起展出了AI智能點單設(shè)備,在沒有任喚醒詞的情況下,客戶以每秒5個字的速度,向一臺機器點單,并頻繁更換語句,這臺機器對每次對話均作出了精準應(yīng)答。
現(xiàn)在,這些基礎(chǔ)設(shè)施以及商業(yè)化的產(chǎn)物正服務(wù)于各行各業(yè)。
飛天2.0支撐2018全社會的雙11
如果說最初的技術(shù)變革是為了解決平臺的流量峰值問題,那么現(xiàn)在新的篇章已經(jīng)開啟,新技術(shù)正在引領(lǐng)商業(yè)變革。
今年雙11期間,阿里云上新增調(diào)用的彈性計算能力累計超過1000萬核,相當于10座大型數(shù)據(jù)中心,創(chuàng)造了“脈沖計算”的新紀錄。不僅如此,飛天2.0的新能力全面支撐雙11:
阿里云自研神龍彈性裸金屬服務(wù)器在核心系統(tǒng)中發(fā)揮巨大作用。其基于完全自研的新一代軟硬融合的X-Dragon虛擬化架構(gòu),兼具物理機和虛擬機優(yōu)勢,解決了高峰值流量下的性能瓶頸。
業(yè)界首個百萬級IOPS的ESSD云盤提供了數(shù)十PB的存儲規(guī)模,應(yīng)對了史上最大的高并發(fā)IO挑戰(zhàn)。
貓晚網(wǎng)絡(luò)直播創(chuàng)下帶寬峰值記錄,阿里云視頻云高可靠直播方案完美保障了優(yōu)酷2500萬用戶的體驗。
CDN為中國1/3以上的互聯(lián)網(wǎng)流量提供加速,視頻云在海外為Lazada提供直播服務(wù)。
國內(nèi)首次大規(guī)模IPv6商業(yè)應(yīng)用實踐,云、網(wǎng)、端以及應(yīng)用全面支持IPv6。
實時計算Blink處理峰值達到每秒17.18億條,相當于120萬本新華字典的數(shù)據(jù)量。
MaxCompute支撐在線流量洪峰12萬筆/秒交易,承載45%導(dǎo)購流量。
云盾為云上客戶提供上千萬次風險識別服務(wù),并將DDoS高防技術(shù)輸出到全球,保障全球業(yè)務(wù)。
在這些技術(shù)底座之上,整個系統(tǒng)應(yīng)對流量洪峰更加從容,當天交易額達到創(chuàng)紀錄的2135億。
當然,IoT的登場則為雙11創(chuàng)造了更大的想象空間。
在消費側(cè),IoT技術(shù)服務(wù)新零售的同時,正在催生新的追蹤經(jīng)濟。消費者可以查看進口商品完整的商品溯源實時信息,確保天貓進口商品安全可溯,遠洋運輸也實時可見。
在制造側(cè),助力天貓品牌服裝廠商數(shù)字化接單、下單和備貨,個性化生產(chǎn)、柔性化制造,交期準確率近乎100%;對農(nóng)業(yè)生產(chǎn)、運輸、銷售進行全鏈路升級。
從線上到線下,從生產(chǎn)制造到物流配送,從國內(nèi)到海外,阿里云的技術(shù)能力延伸到各行各業(yè)。而這只是這些新技術(shù)應(yīng)用的冰山一角,云與AI、IoT的有機融合未來還會產(chǎn)生什么化學(xué)反應(yīng)?我們拭目以待。
結(jié)語
從27個品牌參加成交額不過數(shù)千萬元開始,到現(xiàn)在的千億級體量,雙11已經(jīng)成為一個未來商業(yè)實踐的范本,也是新技術(shù)的最大試驗場,這些新技術(shù)逐漸變成全社會的基礎(chǔ)能力,撬動一場全球的社會大協(xié)作。