初春剛過,阿里云在北京一棟沒有暖氣的寫字樓寫下了..."/>
ITBear旗下自媒體矩陣:

談阿里云與天貓雙11這十年

   時(shí)間:2018-11-13 10:19:01 來源:PingWest品玩編輯:星輝 發(fā)表評論無障礙通道

2009年,發(fā)生了兩件看似不起眼的事。

初春剛過,阿里云在北京一棟沒有暖氣的寫字樓寫下了飛天第一行代碼。

同年11月11日,淘寶商城啟動(dòng)了一個(gè)叫做雙11的促銷活動(dòng)。

誰也沒想到,多年以后他們會是現(xiàn)在這模樣。

前傳

2007年淘寶的交易額突破了400億,技術(shù)團(tuán)隊(duì)卻喜憂參半:現(xiàn)有集中式架構(gòu)已經(jīng)捉襟見肘,該如何應(yīng)對?

隨即啟動(dòng)的分布式改造獲得巨大成功,淘寶所有的業(yè)務(wù)都做了模塊化。

盡管這次技術(shù)升級在現(xiàn)在看來存在諸多局限性:更多的是為了應(yīng)對不斷增多的圖片緩存,在CDN端對海量的圖片緩存做了一些限流操作。但就是這次改造成就了歷史上第一個(gè)雙11,2009年雙11當(dāng)天的流量達(dá)到了一個(gè)高峰,在舊的架構(gòu)體系下,這幾乎是一項(xiàng)不可能完成的任務(wù)。

一年后,飛天的第一個(gè)版本上線,僅有幾十臺機(jī)器的集群開始服務(wù)第一個(gè)內(nèi)部客戶——阿里金融。

這些探索讓所有人看到了一個(gè)趨勢:用分布式的方法將傳統(tǒng)、昂貴的小型機(jī)硬件和軟件,替換成通用的X86的服務(wù)器集群,虛擬化等技術(shù)可以讓計(jì)算能夠按量、隨時(shí)被啟動(dòng)。

流量狂奔:脈沖計(jì)算

從計(jì)算機(jī)誕生到90年代,計(jì)算資源都是作為“可計(jì)劃性”的資源來使用。無論是探索月球,還是研究基因的奧秘,計(jì)算資源本身是可規(guī)劃的。然而,互聯(lián)網(wǎng)時(shí)代的到來,一個(gè)爆發(fā)性事件,就有可能挑戰(zhàn)整個(gè)計(jì)算資源,不確定性如影隨形。

毫無疑問,雙11就是這樣一個(gè)典型場景。

2011雙11的流量洪峰給技術(shù)團(tuán)隊(duì)留下了午夜驚魂般難忘的回憶:系統(tǒng)性技術(shù)問題,使大量商家可能出現(xiàn)超賣。

事后,這群國內(nèi)互聯(lián)網(wǎng)行業(yè)最優(yōu)秀的技術(shù)人開始意識到這已經(jīng)不僅僅是一場商業(yè)促銷活動(dòng),更是一次技術(shù)大考。

次年,天貓與阿里云、萬網(wǎng)宣布聯(lián)合推出聚石塔平臺,率先以云計(jì)算為“塔基”,為天貓、淘寶平臺上的電商及電商服務(wù)商提供IT基礎(chǔ)設(shè)施。

基于阿里云的ECS云服務(wù)器、RDS云數(shù)據(jù)庫、SLB負(fù)載均衡網(wǎng)絡(luò),商家訂單源源不斷的推送到商家平臺上,保障了數(shù)據(jù)的穩(wěn)定和延續(xù)。這是云計(jì)算首次參與雙11,并且實(shí)現(xiàn)了191億的交易總額。

飛天的高速成長也給了所有人信心:5年的時(shí)間,飛天平臺集群規(guī)模從1500臺到3000臺,2013年8月,單集群超越5000臺,同時(shí)支持多集群跨機(jī)房計(jì)算……

接下來幾年,云計(jì)算逐漸成為這場狂歡節(jié)中的基石,到2014年,聚石塔上96%的交易使用了阿里云。

2015年開始,雙11構(gòu)建了全球最大的混合云,將公共云和專有云無縫連接。

而這些成果最終成為了全社會的能力:無論是春節(jié)在12306搶票,還是在世界杯期間的狂歡,抑或是微博上的明星八卦,脈沖計(jì)算的能力在今天已經(jīng)變成了常態(tài)。

數(shù)據(jù)平臺,計(jì)算創(chuàng)造價(jià)值

2013年前后,“船票論”在互聯(lián)網(wǎng)圈極為流行。“船票”成為了人們對于一家公司有沒有未來的判斷依據(jù)。至于如何拿到這張船票,彼時(shí)都非常模糊。

然而,移動(dòng)端帶來的海量數(shù)據(jù)卻是真實(shí)存在的,移動(dòng)端帶來的新需求,也推動(dòng)了阿里云大數(shù)據(jù)平臺的發(fā)展。

鮮為人知的是,2004年,為了從大數(shù)據(jù)中分析當(dāng)前狀況,并預(yù)測未來的趨勢,阿里就擁有了第一個(gè)大數(shù)據(jù)倉庫,到2008年,淘寶的業(yè)務(wù)量與數(shù)據(jù)量已達(dá)到2004年的數(shù)千倍,為了讓數(shù)據(jù)成為生產(chǎn)資料,從底層重構(gòu)大數(shù)據(jù)技術(shù)就顯得尤為重要。

2010年春,大數(shù)據(jù)引擎MaxCompute的前身SQL Engine第一版上線,運(yùn)行在當(dāng)時(shí)30臺機(jī)器的飛天集群上。

2011年,飛天團(tuán)隊(duì)開始探索支撐集團(tuán)內(nèi)部數(shù)倉業(yè)務(wù),在1500臺機(jī)器上并行運(yùn)行云梯2的生產(chǎn)作業(yè),并取得了不輸于Hadoop的性能和穩(wěn)定性成績。

飛天5K項(xiàng)目之后,MaxCompute隨之進(jìn)入5000臺機(jī)器和跨機(jī)房調(diào)度時(shí)代,并且可以在377秒完成100TB的排序。

通過MaxCompute引擎助力,從2014年雙11開始,千人千面成為常態(tài)。現(xiàn)在,這一產(chǎn)品已經(jīng)成為阿里巴巴的主力計(jì)算平臺:

阿里巴巴集團(tuán)99%的數(shù)據(jù)存儲以及95%的計(jì)算能力使用MaxCompute;

每天有超過500萬個(gè)作業(yè)在平臺上運(yùn)行;

2017年雙11,MaxCompute單日數(shù)據(jù)處理超過320PB。

幾年過去,“船票論”煙消云散,然而大數(shù)據(jù)平臺帶來的價(jià)值已顯山露水,通過大數(shù)據(jù)與人工智能算法的結(jié)合,MaxCompute已成為ET大腦最重要的組成部分,ET城市大腦自動(dòng)指揮城市路口信號燈,并且成功應(yīng)用于馬來西亞的交通治理;ET工業(yè)大腦推動(dòng)工廠取得更好的良品率,致力于幫助制造企業(yè)提升1%的良品率。

從數(shù)字化阿里到數(shù)字化城市,MaxCompute可以承載EB級的數(shù)據(jù)存儲能力,成為全球首個(gè)100TB規(guī)模Bigbench測試通過的大數(shù)據(jù)計(jì)算平臺;在公共云上覆蓋國內(nèi)外的十幾個(gè)國家和地區(qū),專有云上部署超過100+套。

史上最大規(guī)模的人機(jī)協(xié)同

2017年的雙11被認(rèn)為是人類歷史上最大規(guī)模的人機(jī)協(xié)同“超級工程”:技術(shù)運(yùn)維、商品推薦、客服、支付、物流等各個(gè)環(huán)節(jié)都引入機(jī)器智能。

數(shù)據(jù)、計(jì)算力、算法是人工智能的三大核心要素。飛天在通用計(jì)算服務(wù)的基礎(chǔ)上,開始探索面向人工智能的異構(gòu)計(jì)算。

2017年9月12日,阿里云宣布推出全新一代異構(gòu)計(jì)算加速平臺,在行業(yè)內(nèi)第一次覆蓋了包括AMD、NVIDIA的GPU和Intel、XILINX的FPGA在內(nèi)的所有6款主流異構(gòu)實(shí)例,提供最高可達(dá)75TFLOPS的算力。

全新的基礎(chǔ)設(shè)施讓全球最大規(guī)模的人機(jī)協(xié)同成為了可能。雙11大量AI和視頻轉(zhuǎn)碼業(yè)務(wù)部署在ECS的GPU集群之上,包括視頻云的視頻智能處理、阿里小蜜、拍立淘和新零售的智能供應(yīng)鏈管理等AI業(yè)務(wù)都通過阿里云異構(gòu)計(jì)算GPU昊天平臺進(jìn)行加速。

阿里巴巴數(shù)據(jù)中心機(jī)器人“天巡”每天在機(jī)房巡邏,能接替運(yùn)維人員以往30%的重復(fù)性工作。

AI調(diào)度官“達(dá)靈”將數(shù)據(jù)中心資源分配率拉升到90%以上。

人工智能助手‘阿里小蜜’在雙11當(dāng)天承擔(dān)95%的客服咨詢。

菜鳥智慧貨倉機(jī)器人單日可發(fā)貨超過100萬件。

AI設(shè)計(jì)師“鹿班”,在雙11期間設(shè)計(jì)了4.1億張商品海報(bào)。

阿里機(jī)器智能推薦系統(tǒng)雙11當(dāng)天為用戶生成超過567億個(gè)專屬“貨架”,像智能導(dǎo)購員一樣,給消費(fèi)者“億人億面”的個(gè)性化推薦。

半年后的武漢云棲大會上,阿里云首次和合作伙伴一起展出了AI智能點(diǎn)單設(shè)備,在沒有任喚醒詞的情況下,客戶以每秒5個(gè)字的速度,向一臺機(jī)器點(diǎn)單,并頻繁更換語句,這臺機(jī)器對每次對話均作出了精準(zhǔn)應(yīng)答。

現(xiàn)在,這些基礎(chǔ)設(shè)施以及商業(yè)化的產(chǎn)物正服務(wù)于各行各業(yè)。

飛天2.0支撐2018全社會的雙11

如果說最初的技術(shù)變革是為了解決平臺的流量峰值問題,那么現(xiàn)在新的篇章已經(jīng)開啟,新技術(shù)正在引領(lǐng)商業(yè)變革。

今年雙11期間,阿里云上新增調(diào)用的彈性計(jì)算能力累計(jì)超過1000萬核,相當(dāng)于10座大型數(shù)據(jù)中心,創(chuàng)造了“脈沖計(jì)算”的新紀(jì)錄。不僅如此,飛天2.0的新能力全面支撐雙11:

阿里云自研神龍彈性裸金屬服務(wù)器在核心系統(tǒng)中發(fā)揮巨大作用。其基于完全自研的新一代軟硬融合的X-Dragon虛擬化架構(gòu),兼具物理機(jī)和虛擬機(jī)優(yōu)勢,解決了高峰值流量下的性能瓶頸。

業(yè)界首個(gè)百萬級IOPS的ESSD云盤提供了數(shù)十PB的存儲規(guī)模,應(yīng)對了史上最大的高并發(fā)IO挑戰(zhàn)。

貓晚網(wǎng)絡(luò)直播創(chuàng)下帶寬峰值記錄,阿里云視頻云高可靠直播方案完美保障了優(yōu)酷2500萬用戶的體驗(yàn)。

CDN為中國1/3以上的互聯(lián)網(wǎng)流量提供加速,視頻云在海外為Lazada提供直播服務(wù)。

國內(nèi)首次大規(guī)模IPv6商業(yè)應(yīng)用實(shí)踐,云、網(wǎng)、端以及應(yīng)用全面支持IPv6。

實(shí)時(shí)計(jì)算Blink處理峰值達(dá)到每秒17.18億條,相當(dāng)于120萬本新華字典的數(shù)據(jù)量。

MaxCompute支撐在線流量洪峰12萬筆/秒交易,承載45%導(dǎo)購流量。

云盾為云上客戶提供上千萬次風(fēng)險(xiǎn)識別服務(wù),并將DDoS高防技術(shù)輸出到全球,保障全球業(yè)務(wù)。

在這些技術(shù)底座之上,整個(gè)系統(tǒng)應(yīng)對流量洪峰更加從容,當(dāng)天交易額達(dá)到創(chuàng)紀(jì)錄的2135億。

當(dāng)然,IoT的登場則為雙11創(chuàng)造了更大的想象空間。

在消費(fèi)側(cè),IoT技術(shù)服務(wù)新零售的同時(shí),正在催生新的追蹤經(jīng)濟(jì)。消費(fèi)者可以查看進(jìn)口商品完整的商品溯源實(shí)時(shí)信息,確保天貓進(jìn)口商品安全可溯,遠(yuǎn)洋運(yùn)輸也實(shí)時(shí)可見。

在制造側(cè),助力天貓品牌服裝廠商數(shù)字化接單、下單和備貨,個(gè)性化生產(chǎn)、柔性化制造,交期準(zhǔn)確率近乎100%;對農(nóng)業(yè)生產(chǎn)、運(yùn)輸、銷售進(jìn)行全鏈路升級。

從線上到線下,從生產(chǎn)制造到物流配送,從國內(nèi)到海外,阿里云的技術(shù)能力延伸到各行各業(yè)。而這只是這些新技術(shù)應(yīng)用的冰山一角,云與AI、IoT的有機(jī)融合未來還會產(chǎn)生什么化學(xué)反應(yīng)?我們拭目以待。

結(jié)語

從27個(gè)品牌參加成交額不過數(shù)千萬元開始,到現(xiàn)在的千億級體量,雙11已經(jīng)成為一個(gè)未來商業(yè)實(shí)踐的范本,也是新技術(shù)的最大試驗(yàn)場,這些新技術(shù)逐漸變成全社會的基礎(chǔ)能力,撬動(dòng)一場全球的社會大協(xié)作。

舉報(bào) 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報(bào)  |  開放轉(zhuǎn)載  |  滾動(dòng)資訊  |  English Version