4月9日至11日，第九屆中國電子信息博覽會(huì)(CITE2021)在深圳會(huì)展中心舉辦。同期有多場重磅會(huì)議及技術(shù)論壇開幕，其中4月9日舉行的深圳國際大數(shù)據(jù)與存儲(chǔ)峰會(huì)以及Web3.0中國峰會(huì)格外引得業(yè)界關(guān)注。
西部數(shù)據(jù)展臺(tái)
作為世界存儲(chǔ)巨頭，西部數(shù)據(jù)攜旗下一系列存儲(chǔ)產(chǎn)品亮相展會(huì)，尤其是面向未來的IPFS數(shù)據(jù)存儲(chǔ)解決方案更是亮點(diǎn)十足。西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼也在Web3.0中國峰會(huì)上為我們帶來了以“創(chuàng)新存儲(chǔ)架構(gòu)，突破IPFS算力瓶頸”為主題的演講。
西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼
·企業(yè)級(jí)存儲(chǔ)架構(gòu)面臨挑戰(zhàn) IPFS發(fā)展迅猛
我們的世界正全面交由數(shù)字構(gòu)建，大數(shù)據(jù)發(fā)展的尤為迅猛。據(jù)IDC預(yù)測，到2024年，以HDD為代表的大數(shù)據(jù)預(yù)計(jì)將增長到1.62ZB。而主要以SSD為介質(zhì)的快數(shù)據(jù)在2024年也將增長到333EB。相較于HDD大數(shù)據(jù)30%的年增長率，SSD快數(shù)據(jù)50%的增長率是非?？斓?。
如果統(tǒng)計(jì)整個(gè)2024年產(chǎn)生的數(shù)據(jù)，總?cè)萘繉?huì)達(dá)到驚人的143個(gè)ZB，也就是說大數(shù)據(jù)和快數(shù)據(jù)加起來也只有約2 ZB，也就是僅有1.5%的數(shù)據(jù)被存儲(chǔ)。
我們經(jīng)常說，數(shù)字時(shí)代，數(shù)據(jù)就是石油，為什么這多的數(shù)據(jù)沒有被存儲(chǔ)下來，繼而進(jìn)行分析并挖掘其價(jià)值?很重要的一個(gè)原因是存儲(chǔ)架構(gòu)和存儲(chǔ)技術(shù)沒有及時(shí)地跟上，以至于有很多數(shù)據(jù)沒有辦法被存儲(chǔ)下來并及時(shí)使用。
現(xiàn)代企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)架構(gòu)正面臨著嚴(yán)峻的挑戰(zhàn)。迅猛的數(shù)據(jù)增長速度、對(duì)于存儲(chǔ)性能的高要求、更低的總擁有成本(TCO)以及更加環(huán)保的綠色能耗體系等多個(gè)方面的要求亟需存儲(chǔ)架構(gòu)的革新與變化。
目前，數(shù)據(jù)的傳輸與訪問，是基于HTTP協(xié)議為代表的互聯(lián)網(wǎng)協(xié)議實(shí)現(xiàn)的?；ヂ?lián)網(wǎng)將計(jì)算機(jī)與智能移動(dòng)終端連接在一起，使得用戶能夠訪問存儲(chǔ)其他終端上的海量數(shù)據(jù)。數(shù)據(jù)以計(jì)算機(jī)、終端域名為地址進(jìn)行中心化存儲(chǔ)，帶來了巨大的流量訪問和數(shù)據(jù)傳輸壓力。
而IPFS去中心化分布式存儲(chǔ)架構(gòu)將會(huì)有效降低目前基于中心化的云存儲(chǔ)成本，將和去中心化的云計(jì)算一起作為Web3.0的重要基礎(chǔ)設(shè)施，加快推動(dòng)相關(guān)行業(yè)的數(shù)字化轉(zhuǎn)型進(jìn)程，構(gòu)建商業(yè)新場景，促使經(jīng)濟(jì)社會(huì)發(fā)生深刻變革。
IPFS 是InterPlanetary File System的縮寫，譯作星際文件系統(tǒng)。簡單而言，IPFS是一個(gè)內(nèi)容可尋址的對(duì)等超媒體分發(fā)協(xié)議，用戶要尋找的是存儲(chǔ)在某地方的內(nèi)容，這些內(nèi)容分散在不同的服務(wù)器節(jié)點(diǎn)，而不是某個(gè)地址，因此只需確認(rèn)驗(yàn)證內(nèi)容的哈希值，就可以達(dá)到訪問目標(biāo)，大大減小了中心存儲(chǔ)的壓力。
有了面向未來的IPFS存儲(chǔ)架構(gòu)，還需要將數(shù)據(jù)進(jìn)一步細(xì)分，這就涉及到了分層存儲(chǔ)。按照數(shù)據(jù)的熱度和使用頻率，我們可以簡單的將其分為極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。
事實(shí)上，我們很難找到一種存儲(chǔ)介質(zhì)、存儲(chǔ)設(shè)備能夠同時(shí)滿足所有層級(jí)的數(shù)據(jù)存儲(chǔ)需求，對(duì)于不同層級(jí)的數(shù)據(jù)，需要采用的存儲(chǔ)介質(zhì)和存儲(chǔ)的設(shè)備是不一樣的，這樣才能夠既滿足海量數(shù)據(jù)的存儲(chǔ)和對(duì)熱數(shù)據(jù)的快速訪問。
大數(shù)據(jù)部分主要針對(duì)冷存儲(chǔ)和極冷存儲(chǔ)，業(yè)界通常使用高密度的大容量企業(yè)級(jí)HDD來進(jìn)行。目前，已經(jīng)進(jìn)化到了18TB容量的高密度硬盤產(chǎn)品。西部數(shù)據(jù)的Ultrastar DC系列硬盤已經(jīng)在多個(gè)云服務(wù)商處得到驗(yàn)證與部署。西部數(shù)據(jù)基于SMR(疊瓦市磁記錄)技術(shù)開發(fā)的企業(yè)級(jí)HDD，已經(jīng)做到了20TB的容量，幾家頭部云服務(wù)商部署的硬盤在過去4年當(dāng)中，已經(jīng)從8TB容量進(jìn)化到了18TB，發(fā)展非常迅速。
西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼
但更為驚人的是，IPFS服務(wù)商的硬盤容量演進(jìn)速度。在過去的四個(gè)季度，他們幾乎就走完了傳統(tǒng)云服務(wù)商用時(shí)四年才完成的存儲(chǔ)容量升級(jí)，也就是說從8TB進(jìn)化到了18TB。
拋開升級(jí)速度，無論是IPFS服務(wù)商，還是傳統(tǒng)云服務(wù)商，使用單盤容量越來越大的HDD是統(tǒng)一的，為什么大家從8TB不斷升級(jí)至12TB、14TB，繼而到現(xiàn)在的18TB?其實(shí)很簡單，在同樣存儲(chǔ)容量的情況下，使用18TB硬盤可以大大減少服務(wù)器的數(shù)量，提高存儲(chǔ)密度，從而降低功耗，降低部署成本，最終降低運(yùn)維成本。
IPFS存儲(chǔ)與數(shù)據(jù)分層，讓我們有可能使用各種產(chǎn)品的存儲(chǔ)組合，來滿足用戶各方面、各種存儲(chǔ)場景的需求，繼而解決未來數(shù)據(jù)時(shí)代的存儲(chǔ)痛點(diǎn)。
·西部數(shù)據(jù)領(lǐng)先產(chǎn)品 賦能IPFS存儲(chǔ)與計(jì)算集群
作為世界領(lǐng)先的存儲(chǔ)架構(gòu)公司、在存儲(chǔ)領(lǐng)域深耕第51年的存儲(chǔ)巨頭，西部數(shù)據(jù)擁有完整的企業(yè)級(jí)存儲(chǔ)產(chǎn)品線。
在HDD方面，西部數(shù)據(jù)的SMR技術(shù)已經(jīng)成功應(yīng)用到20TB容量的硬盤上了，一些客戶通過部署Ultrastar DC HC650 20TB SMR HDD，得到了更低的總體擁有成本(TCO)與更高的存儲(chǔ)密度。全球領(lǐng)先的云存儲(chǔ)服務(wù)商Dropbox是首批測試驗(yàn)證西部數(shù)據(jù)Ultrastar DC HC650 20TB SMR HDD的公司之一。
對(duì)于需要頻繁訪問的快數(shù)據(jù)部分，像熱存儲(chǔ)、溫存儲(chǔ)，西部數(shù)據(jù)主要提供了兩種不同類型的SSD產(chǎn)品，像面向極熱存儲(chǔ)的Ultrastar DC SN840 NVMe SSD，主要針對(duì)寫入負(fù)載密集的負(fù)載而設(shè)計(jì)，可以幫助用戶完成高性能的計(jì)算工作。而Ultrastar DC SN640 NVMe SSD更多應(yīng)用到主流的服務(wù)器和云上，適用于讀寫均衡的混合型工作負(fù)載。
對(duì)于企業(yè)級(jí)客戶來說，選擇SSD供應(yīng)商需要考慮很多因素，足夠的產(chǎn)能與供應(yīng)能力，足夠低的成本和領(lǐng)先的性能，以及良好的縱向優(yōu)化能力，都是影響用戶購買決策的重要方面。
而這幾點(diǎn)，恰恰是西部數(shù)據(jù)的優(yōu)勢。西部數(shù)據(jù)剛剛推出了第6代3D閃存技術(shù)，162層的3D閃存會(huì)進(jìn)一步提高側(cè)面單元密度，相比BiCS5相比，芯片尺寸減小40%，程序性能可以提高兩倍以上，輸入/輸出性能提高約66%。西部數(shù)據(jù)與鎧俠一起投入巨資，擁有領(lǐng)先的閃存產(chǎn)能優(yōu)勢，占有全球近3分之一的Flash產(chǎn)能。
此外，西部數(shù)據(jù)還擁有完全自主的控制器和固件，和NAND Flash縱向集成，有助于性能和穩(wěn)定性的不斷優(yōu)化，確?？蛻舨少彽漠a(chǎn)品在整個(gè)生命周期內(nèi)擁有穩(wěn)定的I/O一致性。
在IPFS存儲(chǔ)系統(tǒng)中，“存算分離”是一個(gè)特別重要的特點(diǎn)。也就是說存儲(chǔ)集群和計(jì)算集群是分開的，兩個(gè)集群的存儲(chǔ)特性有著明顯的區(qū)別。
如果使用西部數(shù)據(jù)的18TB HDD，以4U60+18TB的解決方案為例，與傳統(tǒng)的4U36+16TB組合相比，機(jī)柜數(shù)量可以減少約46%，功耗減少約36%，明顯降低部署成本和運(yùn)維成本。
目前，西部數(shù)據(jù)已經(jīng)與多家合作伙伴聯(lián)合推出了IPFS存儲(chǔ)解決方案，例如星辰天合、浪潮和西部數(shù)據(jù)共同推出的IPFS存儲(chǔ)系統(tǒng)，使用了西部數(shù)據(jù)Ultrastar DC HC550 18TB HDD、浪潮英信服務(wù)器NF5466M5、XSKY文件存儲(chǔ)系統(tǒng)等關(guān)鍵組件，不僅實(shí)現(xiàn)了快速部署、便捷運(yùn)維，還有助于減少業(yè)務(wù)的異常情況帶來的損失，大幅提升業(yè)務(wù)收益。
在基于分布式存儲(chǔ)的Web3.0架構(gòu)之下，西部數(shù)據(jù)展示了全方位的技術(shù)實(shí)力和相應(yīng)解決方案，賦能IPFS基礎(chǔ)設(shè)施建設(shè)。與業(yè)內(nèi)合作伙伴一起打造的針對(duì)IPFS優(yōu)化的計(jì)算和存儲(chǔ)節(jié)點(diǎn)方案，可以幫助客戶更好的挖掘出大數(shù)據(jù)時(shí)代數(shù)據(jù)的真正價(jià)值。
