微博、微信、直播等互聯(lián)網(wǎng)應(yīng)用的風(fēng)靡，帶來(lái)了海量的圖片、音頻和視頻文件，這些非結(jié)構(gòu)化數(shù)據(jù)的容量、文件的數(shù)量已經(jīng)超越了傳統(tǒng)NAS存儲(chǔ)的處理能力，因此各大互聯(lián)網(wǎng)廠商根據(jù)自身特點(diǎn)發(fā)展出了適合業(yè)務(wù)需求的分布式存儲(chǔ)架構(gòu)，如：Google的GFS，亞馬遜的AWS S3，以及FaceBook的Cassandra等等。特別是亞馬遜2006年推出的AWS S3對(duì)象存儲(chǔ)，其定義的S3接口已經(jīng)逐漸成為非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)。
知名分析機(jī)構(gòu)IDC的報(bào)告預(yù)測(cè)，到2020年非結(jié)構(gòu)化存儲(chǔ)數(shù)據(jù)量將達(dá)到410EB，相比2015年增長(zhǎng)4倍，而對(duì)象存儲(chǔ)占文件存儲(chǔ)總?cè)萘康?0%以上。報(bào)告顯示，2015-2020年對(duì)象存儲(chǔ)市場(chǎng)營(yíng)收的年均復(fù)合增長(zhǎng)率將達(dá)到8.7%。非結(jié)構(gòu)化數(shù)據(jù)量的暴增及對(duì)象存儲(chǔ)時(shí)代的到來(lái)，讓企業(yè)用戶越來(lái)越意識(shí)到對(duì)象存儲(chǔ)技術(shù)的重要性，基于對(duì)象存儲(chǔ)領(lǐng)域多年的實(shí)踐經(jīng)驗(yàn)，今天有幸和大家分享我的一些積累和見(jiàn)解。
杉巖數(shù)據(jù)CTO 邱尚高
傳統(tǒng)NAS存儲(chǔ)制約業(yè)務(wù)的發(fā)展
“互聯(lián)網(wǎng)+”趨勢(shì)的推進(jìn)以及各類智能終端的普及，非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)出爆發(fā)性增長(zhǎng)，如：金融業(yè)務(wù)辦理的開戶視頻、互聯(lián)網(wǎng)金融行業(yè)的申請(qǐng)資料、保險(xiǎn)行業(yè)的理賠資料、快遞行業(yè)的電子快遞單、安防行業(yè)的視頻監(jiān)控錄像等。同時(shí)，為了滿足政策合規(guī)性，部分行業(yè)監(jiān)管要求長(zhǎng)時(shí)間保存以供查詢?nèi)∽C。
如今，這些傳統(tǒng)企業(yè)的IT部門正在經(jīng)歷著互聯(lián)網(wǎng)公司曾經(jīng)遭遇的NAS無(wú)法解決的存儲(chǔ)難題，主要體現(xiàn)在如下方面：NAS存儲(chǔ)采用古老的文件系統(tǒng)技術(shù)，單個(gè)文件系統(tǒng)容量受限，超過(guò)容量后對(duì)IT運(yùn)維將帶來(lái)巨大挑戰(zhàn);NAS存儲(chǔ)的目錄文件系統(tǒng)采用B+樹進(jìn)行文件索引，當(dāng)文件數(shù)量過(guò)多時(shí)，會(huì)嚴(yán)重影響訪問(wèn)性能;NAS設(shè)備過(guò)維保后，由于非結(jié)構(gòu)化數(shù)據(jù)規(guī)模較大，在更換時(shí)需要花費(fèi)大量時(shí)間，且數(shù)據(jù)遷移存在風(fēng)險(xiǎn)等等。
那么，相對(duì)于傳統(tǒng)NAS文件存儲(chǔ)而言，對(duì)象存儲(chǔ)到底可以帶來(lái)哪些顛覆性的技術(shù)優(yōu)勢(shì)，接下來(lái)和大家做一些簡(jiǎn)單分享。
對(duì)象存儲(chǔ)將成為企業(yè)存儲(chǔ)的新標(biāo)準(zhǔn)
分布式去中心架構(gòu)，容量和性能擴(kuò)展方便
對(duì)象存儲(chǔ)普遍采用的是基于通用x86服務(wù)器+分布式對(duì)象存儲(chǔ)軟件的技術(shù)架構(gòu)，對(duì)象存儲(chǔ)軟件將多臺(tái)服務(wù)器通過(guò)以太網(wǎng)連接，構(gòu)建成一個(gè)統(tǒng)一的存儲(chǔ)資源池，可動(dòng)態(tài)增加或刪除服務(wù)器實(shí)現(xiàn)容量的調(diào)整，數(shù)據(jù)能夠自動(dòng)均衡，并且利用副本和糾刪機(jī)制(類似于RAID5/6)實(shí)現(xiàn)數(shù)據(jù)的高可靠和高可用性。
傳統(tǒng)NAS過(guò)維保后，需要將過(guò)保設(shè)備上的數(shù)據(jù)人工遷移到新購(gòu)置的NAS上，文件數(shù)量較多的用戶需要花1到2個(gè)月時(shí)間，運(yùn)維人力消耗非常大。而采用如下圖所示的分布式架構(gòu)，可以動(dòng)態(tài)移除舊設(shè)備，無(wú)需人工干預(yù)，業(yè)務(wù)也不受影響。
創(chuàng)新的索引技術(shù)，真正解決海量小文件問(wèn)題
海量小文件的存儲(chǔ)是工業(yè)界和學(xué)術(shù)界公認(rèn)的難題，解決問(wèn)題較為關(guān)鍵的技術(shù)點(diǎn)就是優(yōu)化元數(shù)據(jù)管理，由于傳統(tǒng)NAS采用B+樹進(jìn)行文件檢索，當(dāng)文件數(shù)量比較少的時(shí)候，B+樹基本可以被緩存，性能還是不錯(cuò)的。但隨著文件數(shù)量的增多，B+樹占用空間非常大無(wú)法被緩存時(shí)，就會(huì)涉及到機(jī)械盤操作導(dǎo)致性能明顯下降，如果層級(jí)較深，僅僅索引訪問(wèn)就會(huì)產(chǎn)生多次磁盤隨機(jī)訪問(wèn)操作，嚴(yán)重影響文件的訪問(wèn)性能。
而對(duì)象存儲(chǔ)普遍采用了分布式哈希查找算法(DHT)，技術(shù)原理：在建立集群時(shí)，對(duì)象存儲(chǔ)將整個(gè)存儲(chǔ)空間劃分成一個(gè)哈希環(huán)，每個(gè)磁盤負(fù)責(zé)哈希環(huán)中部分哈希分區(qū)的存儲(chǔ)。當(dāng)需要訪問(wèn)一個(gè)文件時(shí)，系統(tǒng)通過(guò)“目錄/桶名+文件名”的哈希計(jì)算后，查詢DHT表即可定位到具體磁盤進(jìn)行文件訪問(wèn)。由于哈希環(huán)并不隨文件數(shù)量的增加而增多，所以查找性能不會(huì)受到文件數(shù)量的影響。
超大容量單目錄，滿足業(yè)務(wù)生命周期存儲(chǔ)需求
傳統(tǒng)NAS存儲(chǔ)采用文件系統(tǒng)技術(shù)，單個(gè)文件系統(tǒng)容量普遍在幾十TB級(jí)。由于IT管理人員在業(yè)務(wù)上線前無(wú)法對(duì)規(guī)范容量和目錄需求做出精準(zhǔn)評(píng)估，對(duì)于某些產(chǎn)生數(shù)據(jù)量較大的業(yè)務(wù)系統(tǒng)來(lái)說(shuō)，需要掛載多個(gè)文件系統(tǒng)目錄，這會(huì)帶來(lái)很多非增值的運(yùn)維工作。
而對(duì)象存儲(chǔ)采用扁平化的文件名唯一定位方式，單個(gè)目錄或者存儲(chǔ)空間能達(dá)到數(shù)十PB甚至數(shù)百PB級(jí)，可以滿足業(yè)務(wù)系統(tǒng)整個(gè)生命周期的存儲(chǔ)容量需求，無(wú)需掛載目錄和調(diào)整業(yè)務(wù)系統(tǒng)，讓IT人員更加關(guān)注業(yè)務(wù)價(jià)值本身。
更加適用于多數(shù)據(jù)中心容災(zāi)場(chǎng)景
高效的業(yè)務(wù)系統(tǒng)容災(zāi)方案是企業(yè)IT部門最為關(guān)注的焦點(diǎn)之一。對(duì)象存儲(chǔ)在接口方面的技術(shù)改良，使其在多數(shù)據(jù)中心容災(zāi)方面支持得更加完善，大部分對(duì)象存儲(chǔ)廠商都支持兩個(gè)及以上的多數(shù)據(jù)中心容災(zāi)。傳統(tǒng)NAS往往是主備模式的容災(zāi)，而對(duì)象存儲(chǔ)普遍支持Active-Active模式的容災(zāi)，可實(shí)現(xiàn)本地?cái)?shù)據(jù)中心應(yīng)用的就近訪問(wèn)。這對(duì)于采用負(fù)載均衡模式數(shù)據(jù)中心的企業(yè)來(lái)說(shuō)，是非常有價(jià)值的，可以提升每個(gè)數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)的訪問(wèn)性能。
實(shí)現(xiàn)私有云和公有云間的數(shù)據(jù)流通
隨著企業(yè)互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，越來(lái)越多的應(yīng)用運(yùn)行在智能終端和公有云平臺(tái)上，而考慮到安全性和保密性，數(shù)據(jù)依然保存在企業(yè)內(nèi)部。傳統(tǒng)NAS的CIFS/NFS協(xié)議只能被企業(yè)內(nèi)網(wǎng)訪問(wèn)，無(wú)法直接提供給外部網(wǎng)絡(luò)。對(duì)象存儲(chǔ)最早被應(yīng)用在互聯(lián)網(wǎng)和公有云場(chǎng)景，所以對(duì)象存儲(chǔ)的訪問(wèn)協(xié)議(S3、SWIFT)都是基于HTTP標(biāo)準(zhǔn)協(xié)議，可支持內(nèi)網(wǎng)和外網(wǎng)應(yīng)用系統(tǒng)對(duì)存儲(chǔ)的自由訪問(wèn)。
在安全性方面，數(shù)據(jù)采用AES進(jìn)行加密傳輸，支持HTTPS保證傳輸鏈路安全。S3協(xié)議還定義了完整的多租戶訪問(wèn)、文件粒度的授權(quán)訪問(wèn)等多種安全技術(shù)，保證了數(shù)據(jù)開放給外網(wǎng)訪問(wèn)的安全性。
關(guān)于應(yīng)用對(duì)象存儲(chǔ)技術(shù)的一些建議
匹配對(duì)象存儲(chǔ)典型的應(yīng)用場(chǎng)景
傳統(tǒng)文件存儲(chǔ)主要有兩種使用場(chǎng)景：一種是在線編輯場(chǎng)景，如媒資行業(yè)的現(xiàn)編系統(tǒng)存儲(chǔ)，另一種是非在線編輯場(chǎng)景，主要是滿足歸檔和查詢需求，不需要對(duì)文件內(nèi)容進(jìn)行修改。在實(shí)際應(yīng)用中，非在線編輯場(chǎng)景占數(shù)據(jù)總?cè)萘康?0%以上。對(duì)象存儲(chǔ)接口能夠完全滿足非在線編輯場(chǎng)景的需求，因此在此類場(chǎng)景中用戶可以完全替換掉傳統(tǒng)NAS。為了讓用戶更好地匹配對(duì)象存儲(chǔ)的關(guān)鍵應(yīng)用場(chǎng)景，我們做了如下總結(jié)：
1)文件數(shù)量特別多，訪問(wèn)性能受到影響的場(chǎng)景。例如：銀行的影像資料、保險(xiǎn)的電子保單、快遞的電子快遞單等等，對(duì)象存儲(chǔ)可以保證在這種場(chǎng)景下的訪問(wèn)性能。
2)數(shù)據(jù)存儲(chǔ)量特別大，需要長(zhǎng)期保存的場(chǎng)景。例如：金融行業(yè)的雙錄、醫(yī)療行業(yè)的影像資料、提供客服中心服務(wù)的語(yǔ)音資料等等，利用對(duì)象存儲(chǔ)的彈性擴(kuò)展能力以及超大容量目錄，保證業(yè)務(wù)系統(tǒng)整個(gè)生命周期不需要做任何變更。
3)互聯(lián)網(wǎng)業(yè)務(wù)的使用場(chǎng)景，例如：互聯(lián)網(wǎng)金融相關(guān)業(yè)務(wù)，對(duì)象存儲(chǔ)可以實(shí)現(xiàn)互聯(lián)網(wǎng)應(yīng)用對(duì)企業(yè)內(nèi)部文件的安全訪問(wèn)，讓數(shù)據(jù)在企業(yè)內(nèi)部和互聯(lián)網(wǎng)間高效流動(dòng)。
4)多數(shù)據(jù)中心共享場(chǎng)景，例如：跨地域的文件共享、總部與分支機(jī)構(gòu)文件的共享與歸集等應(yīng)用場(chǎng)景。
重視廠商的技術(shù)服務(wù)能力
雖然AWS S3協(xié)議已成為對(duì)象存儲(chǔ)的事實(shí)標(biāo)準(zhǔn)，其數(shù)據(jù)訪問(wèn)接口相對(duì)傳統(tǒng)文件系統(tǒng)訪問(wèn)接口更加簡(jiǎn)單。但由于S3接口相比NAS提供更加豐富的功能，包括：權(quán)限管理、租戶管理、標(biāo)簽、外鏈、配額、多版本、生命周期、多數(shù)據(jù)中心策略等上百個(gè)API接口，如何充分利用好這些接口，幫助業(yè)務(wù)系統(tǒng)提高數(shù)據(jù)安全性、優(yōu)化業(yè)務(wù)性能、優(yōu)化存儲(chǔ)管理、優(yōu)化多數(shù)據(jù)中心訪問(wèn)方式和存儲(chǔ)策略等方面，可能需要有對(duì)象存儲(chǔ)部署經(jīng)驗(yàn)的廠商來(lái)協(xié)助。
因此，我們建議在引入對(duì)象存儲(chǔ)技術(shù)的同時(shí)，用戶應(yīng)該更多地關(guān)注廠商對(duì)于應(yīng)用開發(fā)技術(shù)的服務(wù)能力，實(shí)現(xiàn)對(duì)象存儲(chǔ)部署價(jià)值的最大化。
【關(guān)于杉巖數(shù)據(jù)】企業(yè)級(jí)軟件定義存儲(chǔ)(SDS)方案和服務(wù)提供商，“+存儲(chǔ)”理念的倡導(dǎo)者和踐行者，由來(lái)自世界500強(qiáng)企業(yè)的專業(yè)存儲(chǔ)團(tuán)隊(duì)為技術(shù)班底組成。幫助企業(yè)級(jí)用戶輕松應(yīng)對(duì)IT向云遷移的存儲(chǔ)挑戰(zhàn)，為大數(shù)據(jù)時(shí)代的商業(yè)決策提供智能存儲(chǔ)。
杉巖官網(wǎng)：www.szsandstone.com
