ITBear旗下自媒體矩陣:

超大量數(shù)據(jù)如何處理? 京東技術(shù)開放日第二期實(shí)戰(zhàn)解析大規(guī)模分布式存儲(chǔ)

   時(shí)間:2014-07-28 10:58:21 來源:互聯(lián)網(wǎng)編輯:星輝 發(fā)表評(píng)論無障礙通道

對(duì)于一家大型互聯(lián)網(wǎng)企業(yè),穩(wěn)定承受海量的用戶請(qǐng)求和爆發(fā)式增長的數(shù)據(jù)是必須面對(duì)的技術(shù)問題。特別在電子商務(wù)領(lǐng)域,每逢大型促銷,數(shù)據(jù)的增長都是成倍的,作為國內(nèi)最大的自營式電商,京東在今年的618店慶活動(dòng)中成功支持了同比去年增長超過100%的下單量,這與其堅(jiān)實(shí)的核心基礎(chǔ)系統(tǒng)和過硬的技術(shù)力量密不可分。近日,在京東技術(shù)開放日第二期活動(dòng)中,來自京東技術(shù)研發(fā)部的頂級(jí)技術(shù)人員與業(yè)內(nèi)眾多同行分享了諸多經(jīng)驗(yàn)。

此次活動(dòng)的分享主題是“大規(guī)模分布式存儲(chǔ)實(shí)戰(zhàn)解析”。曾帶領(lǐng)團(tuán)隊(duì)自主研發(fā)了京東文件系統(tǒng)、分布式緩存與高速KV服務(wù)、新消息隊(duì)列、新服務(wù)框架、新圖片系統(tǒng)的京東架構(gòu)委員會(huì)主任、云平臺(tái)首席架構(gòu)師、系統(tǒng)技術(shù)部負(fù)責(zé)人劉海鋒以“大規(guī)模分布式存儲(chǔ)的持續(xù)研發(fā)”為議題進(jìn)行了講解。如今大型互聯(lián)網(wǎng)公司中海量請(qǐng)求和爆發(fā)式增長的數(shù)據(jù)和用戶,令NoSQL數(shù)據(jù)庫越來越受到開發(fā)者的關(guān)注。劉海鋒以京東自主研發(fā)的高速KV(key-value)存儲(chǔ)服務(wù)和分布式文件系統(tǒng)作為落地實(shí)踐,分享了高性能海量存儲(chǔ)的架構(gòu)改進(jìn)與性能優(yōu)化、熱點(diǎn)數(shù)據(jù)常駐內(nèi)存、彈性容量擴(kuò)展、高可用自動(dòng)故障切換、細(xì)粒度監(jiān)控、建立PB級(jí)別高可靠強(qiáng)一致存儲(chǔ)平臺(tái)等經(jīng)驗(yàn)。

對(duì)企業(yè)而言,PB級(jí)的數(shù)據(jù)管理是衡量其數(shù)據(jù)規(guī)模和管理能力的一個(gè)重要標(biāo)尺,劉海鋒重點(diǎn)介紹了京東自主研發(fā)的文件系統(tǒng)JFS(Jingdong Filesystem),它不僅實(shí)現(xiàn)了海量小文件、對(duì)象存儲(chǔ)、塊存儲(chǔ)、新圖片系統(tǒng)、元數(shù)據(jù)表結(jié)構(gòu)存儲(chǔ)、Hadoop集成等功能,同時(shí)還在分布式存儲(chǔ)方面滿足了精確故障檢測、自動(dòng)故障切換、兩級(jí)存儲(chǔ)層次、在線縱向擴(kuò)展以及在線橫向擴(kuò)容等需求,具有很強(qiáng)的指導(dǎo)性。

本次活動(dòng)的第二個(gè)議題是分布式MySQL集群技術(shù)開發(fā)與實(shí)踐,由京東資深技術(shù)講師秦波帶來,他針對(duì)當(dāng)前熱門的分布式MySql系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)、應(yīng)用以及未來的發(fā)展方向,深度總結(jié)了京東自身在分布式MySQL集群設(shè)計(jì)和實(shí)現(xiàn)階段,解決整體架構(gòu)及部署TOPO、分庫分表,自動(dòng)擴(kuò)展等實(shí)戰(zhàn)項(xiàng)目積累的經(jīng)驗(yàn)。

作為技術(shù)圈內(nèi)的一項(xiàng)交流會(huì)議,京東技術(shù)開放日由京東技術(shù)研發(fā)部發(fā)起,口號(hào)是“交流、分享、融合、創(chuàng)新”,旨在通過眾多業(yè)內(nèi)技術(shù)人士的現(xiàn)場交流,將有價(jià)值的技術(shù)資源整合推出,讓更多的技術(shù)人開始分享技術(shù),獲得價(jià)值,讓技術(shù)的匯聚成為創(chuàng)新的源泉。截至目前,京東技術(shù)開放日活動(dòng)已成功進(jìn)行了兩期,未來仍將挑選技術(shù)領(lǐng)域的熱門主題進(jìn)行分享,與業(yè)內(nèi)同行共同成長,以不斷提升眾多用戶的使用體驗(yàn)。

關(guān)于京東(JD.com):

京東(JD.com)是中國領(lǐng)先的自營式電商企業(yè)。公司致力于為顧客提供最好的網(wǎng)絡(luò)消費(fèi)體驗(yàn)。通過其內(nèi)容豐富且使用便捷的網(wǎng)站www.jd.com以及移動(dòng)客戶端,京東以具競爭力的價(jià)格,向消費(fèi)者提供大量精選的正品,并通過可靠快速的配送服務(wù)將產(chǎn)品送到消費(fèi)者手中。

截至2014年3月,京東在其平臺(tái)上提供4020余萬庫存單元(SKU)的13大類產(chǎn)品。京東相信其擁有全國電商行業(yè)中最大的倉儲(chǔ)設(shè)施:京東在全國范圍內(nèi)擁有7大物流中心,在36座城市建立了86個(gè)大型倉庫,總面積達(dá)到150萬平方米,并擁有1620個(gè)配送站和214個(gè)自提點(diǎn),覆蓋全國495個(gè)城市,配送人員均為京東員工。京東目前在43個(gè)城市提供保證當(dāng)天送達(dá)的“211限時(shí)達(dá)”服務(wù),并在另外256座城市提供隔天送達(dá)的配送服務(wù)。

舉報(bào) 0 收藏 0 打賞 0評(píng)論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報(bào)  |  開放轉(zhuǎn)載  |  滾動(dòng)資訊  |  English Version