自動駕駛、智能制造、AI……新技術(shù)帶來數(shù)據(jù)量的爆炸式增長，這也導(dǎo)致企業(yè)的存儲成本快速上升。
以自動駕駛為例，L3級自動駕駛項目需要存儲50到120PB的傳感器數(shù)據(jù)，這些數(shù)據(jù)要求在短時間內(nèi)分析完成，完整測試產(chǎn)生的數(shù)百PB數(shù)據(jù)需要存儲30年以上。這對訓(xùn)練效率和海量存儲的成本優(yōu)化提出了更高的要求。
分布式存儲，因其性能和擴展性更高、TCO成本更優(yōu)，成為越來越多企業(yè)的選擇。作為一款企業(yè)級分布式存儲產(chǎn)品，杉巖MOS海量對象存儲(以下簡稱杉巖MOS)針對成本優(yōu)化，除了常規(guī)的糾刪碼、橫縱雙向擴容外，還有哪些特色功能特性?來一探究竟!
常規(guī)特性解讀
1. 糾刪碼和亞節(jié)點糾刪，節(jié)省存儲空間
糾刪碼是提高存儲系統(tǒng)數(shù)據(jù)可靠性的一項編碼技術(shù)。杉巖MOS將糾刪碼技術(shù)應(yīng)用到數(shù)據(jù)冗余處理中。寫入的對象被拆分為 K 個數(shù)據(jù)塊，然后編碼生成 M 個校驗塊，總共 K+M 份數(shù)據(jù)通過DHT 算法分別存入不同硬盤中。當系統(tǒng)出現(xiàn)故障，丟失了某些塊時，只要這個對象丟失的塊數(shù)目不超過 M，就可通過數(shù)據(jù)恢復(fù)算法，將丟失的數(shù)據(jù)塊從剩余的塊中計算出來。在這種方式下，空間的利用率約為 K/(K+M)，數(shù)據(jù)的可靠性由 M 值的大小決定，M 越大可靠性越高。
例如“3+2”EC 配置下一個對象寫入時，對象會生成 5 個塊，每個塊均存入不同的硬盤，如下圖所示：
圖 1 “3+2”EC 策略示意圖
杉巖MOS提供了靈活的EC配置方式以滿足不同應(yīng)用場景。杉巖MOS支持EC22+2的存儲策略，相較于HDFS的三副本策略，采用EC22+2存儲策略的存儲空間利用率提升了175%。
默認的糾刪碼是按照節(jié)點來分配數(shù)據(jù)的，例如EC4+2需要配置6個節(jié)點，但亞節(jié)點糾刪可按照硬盤來分配數(shù)據(jù)，例如EC4+2:1，則是把3個節(jié)點當6個節(jié)點用，每個節(jié)點選擇2塊硬盤，整個集群選擇6塊不同的硬盤來存放4+2總計6個分片數(shù)據(jù)。如下圖所示：
圖2 “4+2”EC 亞節(jié)點糾刪策略示意圖
因此，EC4+2:1相比EC2+1，雖然能容忍節(jié)點故障數(shù)量仍然是1個，但它可以允許2個節(jié)點分別有1塊硬盤故障(總計2塊硬盤故障)而數(shù)據(jù)不丟失。而實際情況下，硬盤故障的概率是遠遠低于整個節(jié)點故障的，所以EC4+2:1還是非?？煽康模诳臻g利用率上也遠高于三副本。
配置建議：
在滿足性能及可靠性要求下配置適當?shù)腅C策略。
在滿足性能要求下，節(jié)點數(shù)量少于EC塊數(shù)量，可以配置亞節(jié)點糾刪。
2. 無感知橫縱雙向擴容，降低人力時間成本
杉巖MOS不僅支持節(jié)點的橫向擴展，還可支持縱向擴展。當后期業(yè)務(wù)容量不足時，可在線擴容節(jié)點磁盤或者節(jié)點。杉巖MOS基于多故障域的擴容，配合存儲策略，向應(yīng)用屏蔽了底層存儲的變更細節(jié)，能夠在業(yè)務(wù)無感知的情況下，實現(xiàn)業(yè)務(wù)的擴容，避免了傳統(tǒng)存儲變更時，需要業(yè)務(wù)系統(tǒng)同時變更的情況，大大減少了運維人員及業(yè)務(wù)人員的工作量，降低人力時間成本。
配置建議：
將新擴容的節(jié)點/磁盤獨立成一個故障域，避免數(shù)據(jù)的遷移，建議選擇當前集群業(yè)務(wù)較少或無業(yè)務(wù)時間段操作，以防影響業(yè)務(wù)性能。
結(jié)合生命周期轉(zhuǎn)移技術(shù)，將某個故障域的數(shù)據(jù)自動轉(zhuǎn)移到另一個故障域中，實現(xiàn)數(shù)據(jù)的分層存儲。
杉巖MOS特色特性解讀
3. 重刪及壓縮，節(jié)省存儲空間及帶寬
隨著企業(yè)業(yè)務(wù)的不斷增長，需要存儲的數(shù)據(jù)越來越多。與此同時，企業(yè)可能面臨如下問題：
歷史數(shù)據(jù)中可能存在大量的冗余數(shù)據(jù)。冗余數(shù)據(jù)的增長消耗了非必要的存儲資源，導(dǎo)致存儲資源浪費，存儲成本也隨之增加。
存儲容量的增加帶來了維護管理的復(fù)雜，增加了運維成本及其他成本。
杉巖MOS支持數(shù)據(jù)重刪、壓縮(包括對象壓縮及數(shù)據(jù)的傳輸壓縮)兩種功能。重刪功能通過刪除杉巖MOS中的冗余數(shù)據(jù)塊，減少冗余數(shù)據(jù)在站點內(nèi)占用的物理存儲容量，從而滿足日益增長的數(shù)據(jù)存儲需求。壓縮功能可在數(shù)據(jù)存儲時對數(shù)據(jù)桶進行壓縮，以及在多站點的場景下，將數(shù)據(jù)壓縮后再傳輸，節(jié)省存儲容量及帶寬。
配置建議：
在文件共享訪問等場景，建議開啟重刪和壓縮。
在備份場景下，推薦啟用數(shù)據(jù)壓縮功能。
多站點同步場景下，建議開啟數(shù)據(jù)傳輸壓縮。
注意事項：重刪和壓縮過程會占用CPU資源，所以重刪壓縮的數(shù)據(jù)越多，對系統(tǒng)性能的影響越大。
4. 數(shù)據(jù)分級存儲，降低歸檔成本
藍光存儲為客戶提供低成本、高可靠、長周期、大容量的冷數(shù)據(jù)存儲服務(wù)，適用于海量、訪問頻次低的非結(jié)構(gòu)化數(shù)據(jù)的存檔和管理。
數(shù)據(jù)的訪問頻率通常會隨著時間的推移由熱轉(zhuǎn)冷，龐大的冷數(shù)據(jù)鮮少被再次調(diào)用，若繼續(xù)存在對象存儲中，成本非常高。杉巖MOS支持對數(shù)據(jù)進行全生命周期管理，支持冷熱數(shù)據(jù)介質(zhì)分層遷移。基于成本考慮，可將冷數(shù)據(jù)自動歸檔至公有云或藍光存儲，實現(xiàn)大容量、低成本、長期保存數(shù)據(jù)。
配置建議：
重要數(shù)據(jù)建議備份至公有云。
結(jié)合生命周期策略，將冷數(shù)據(jù)歸檔至公有云或藍光存儲中。
5. 生命周期清除，降低存儲成本
杉巖MOS支持數(shù)據(jù)生命周期管理，用戶可通過設(shè)定數(shù)據(jù)生命周期管理策略，定期自動清理無用數(shù)據(jù)，釋放存儲空間。
配置建議：
針對無用數(shù)據(jù)，建議設(shè)置生命周期過期刪除策略，定期刪除無用數(shù)據(jù)。
統(tǒng)一設(shè)置桶的生命周期執(zhí)行時間，可以將執(zhí)行時間設(shè)置在數(shù)據(jù)流量較低的時間段，降低生命周期執(zhí)行對業(yè)務(wù)的影響。
6. 傳統(tǒng)SAN納管，降低采購成本
杉巖MOS支持通過將客戶舊有的IP/FC-SAN設(shè)備掛載到MOS存儲節(jié)點，通過運維界面一鍵配置，將SAN設(shè)備虛擬成MOS的存儲池，將其云化為對象存儲設(shè)備，保護客戶歷史投資，降低采購成本。
圖3 將SAN設(shè)備虛擬成MOS的存儲池，利舊云化
7. NAS/S3異構(gòu)技術(shù)，降低管理成本
在企業(yè)用戶從使用傳統(tǒng)的文件存儲到使用對象存儲的應(yīng)用改造過程中，主要有以下幾個步驟：
業(yè)務(wù)系統(tǒng)代碼改造——數(shù)據(jù)遷移——數(shù)據(jù)校驗——業(yè)務(wù)系統(tǒng)停機升級——增量數(shù)據(jù)遷移與校驗——正式上線。
上述過程中，工作量最大的往往不是業(yè)務(wù)系統(tǒng)的代碼改造，而在于數(shù)據(jù)的遷移與校驗。在數(shù)據(jù)遷移的過程中，涉及到數(shù)據(jù)的傳輸，文件數(shù)量及內(nèi)容的校驗，每一項工作都會消耗大量的時間與人力，為業(yè)務(wù)的割接上線帶來了許多阻力。
NAS/S3異構(gòu)技術(shù)，實際上就是對象存儲系統(tǒng)對原有NAS/S3進行納管，從而能夠通過對象存儲接口(S3)訪問到NAS/S3中的數(shù)據(jù)，而無需數(shù)據(jù)遷移。在業(yè)務(wù)上線的過程中，省去了數(shù)據(jù)遷移與校驗的過程，大大縮短了業(yè)務(wù)上線的時間窗口，實現(xiàn)業(yè)務(wù)系統(tǒng)的快速切換與上線。
在經(jīng)濟趨緩的背景下，如何節(jié)省企業(yè)存儲成本，已經(jīng)成為優(yōu)化企業(yè)IT開支的重要環(huán)節(jié)。杉巖MOS憑借優(yōu)異的產(chǎn)品性能和功能特性，例如重刪及壓縮、數(shù)據(jù)分級存儲、生命周期清除、傳統(tǒng)NAS納管和NAS/S3異構(gòu)技術(shù)，在幫助企業(yè)提高存儲空間利用率、保護歷史投資、節(jié)省存儲空間和采購成本等方面有著獨特的價值優(yōu)勢。
深耕分布式存儲科技創(chuàng)新，杉巖數(shù)據(jù)幫助企業(yè)夯實數(shù)據(jù)底座、挖掘數(shù)據(jù)價值、釋放數(shù)據(jù)潛能，助力企業(yè)“降本增效”，從容應(yīng)對大數(shù)據(jù)挑戰(zhàn)!
