眾所周知，分布式存儲(chǔ)是將服務(wù)器本地的磁盤資源通過(guò)網(wǎng)絡(luò)組織起來(lái)，構(gòu)建一個(gè)統(tǒng)一的存儲(chǔ)資源池。在分布式存儲(chǔ)系統(tǒng)中，如何利用好磁盤資源及網(wǎng)絡(luò)資源對(duì)于整個(gè)分布式系統(tǒng)的性能發(fā)揮至關(guān)重要。
在基于Ceph架構(gòu)的分布式存儲(chǔ)集群中，針對(duì)每個(gè)物理磁盤，都會(huì)啟動(dòng)一個(gè)獨(dú)立的進(jìn)程OSD(object storage daemon)來(lái)處理通過(guò)網(wǎng)絡(luò)轉(zhuǎn)發(fā)過(guò)來(lái)的IO請(qǐng)求及數(shù)據(jù)最終的持久化。其中，ObjectStore模塊位于OSD的最底層，是專門用于管理硬盤上數(shù)據(jù)的專用存儲(chǔ)后端，是IO路徑的“最后一公里”。
Ceph架構(gòu)當(dāng)前的應(yīng)對(duì)方法與難點(diǎn)
一直以來(lái)，Ceph默認(rèn)的ObjectStore后端都是FileStore，它依賴于標(biāo)準(zhǔn)的本地文件系統(tǒng)，將底層對(duì)象直接保存為文件系統(tǒng)中的一個(gè)個(gè)文件，而且FileJournal的引入直接導(dǎo)致寫入放大，這些都造成了性能缺陷，同時(shí)，由于本地文件系統(tǒng)這一層較為厚重的“屏障”，割裂了Ceph OSD與底層硬盤硬件，使存儲(chǔ)感知硬件的能力大大降低。
BlueStore的出現(xiàn)在一定程度上解決了FileStore的上述問(wèn)題，它直接管理硬盤設(shè)備，去除FileJournal，解決了寫放大問(wèn)題，自行管理硬盤的每一塊空間，store元數(shù)據(jù)以kv的形式保存在RocksDB數(shù)據(jù)庫(kù)中。但是BlueStore自身仍然存在空間管理碎片化問(wèn)題，尤其是使用大容量盤時(shí)，長(zhǎng)時(shí)間運(yùn)行后對(duì)于大范圍的隨機(jī)IO響應(yīng)較慢，導(dǎo)致嚴(yán)重的性能瓶頸。
全自主研發(fā)，杉巖首推高性能引擎SandStone AgileStore
因此，開(kāi)篇提及的“最后一公里”至關(guān)重要，如果處理不好，很容易成為整個(gè)系統(tǒng)的性能短板。杉巖分布式統(tǒng)一存儲(chǔ)平臺(tái)(SandStone USP)中的ObjectStore支持多種后端，可以通過(guò)插件的方式進(jìn)行選擇管理，目前兼容Ceph的FileStore、BlueStore。
經(jīng)過(guò)一年的開(kāi)發(fā)，SandStone USP v3.1版本重磅出爐，杉巖數(shù)據(jù)在此版本上推出高性能的ObjectStore，即SandStone AgileStore，數(shù)據(jù)端到端的處理性能相比使用FileStore的SandStone USP v2.0版本提高40%以上，同時(shí)可靠性大大增強(qiáng)，為IO路徑的“最后一公里”帶來(lái)極速體驗(yàn)。
究其優(yōu)勢(shì)，主要展現(xiàn)在如下三方面：
1、性能提升
SandStone AgileStore解決了FileStore與BlueStore存在的問(wèn)題，采用更加先進(jìn)的空間管理方式，數(shù)據(jù)和元數(shù)據(jù)可全部自行管理，不依賴XFS或RocksDB等第三方組件，提高數(shù)據(jù)和元數(shù)據(jù)的寫入性能，輕松應(yīng)對(duì)大容量盤長(zhǎng)時(shí)間隨機(jī)IO帶來(lái)的空間碎片問(wèn)題。
2、硬件感知
傳統(tǒng)磁盤長(zhǎng)時(shí)間工作后經(jīng)常會(huì)報(bào)告一些SCSI硬件錯(cuò)誤(如：Unrecovered read error)，而這些錯(cuò)誤不會(huì)體現(xiàn)在SMART信息中，用戶無(wú)法通過(guò)硬盤健康檢查等Routine程序檢測(cè)到。而SandStone AgileStore可直接管理裸盤硬件，同時(shí)運(yùn)用杉巖申請(qǐng)的獨(dú)家專利技術(shù)(一種基于SCSI設(shè)備的容錯(cuò)方法及系統(tǒng)，專利號(hào)：CN105975358A)對(duì)這些錯(cuò)誤進(jìn)行高效的處理，可直接在IO路徑上及時(shí)發(fā)現(xiàn)并修復(fù)硬盤錯(cuò)誤，增強(qiáng)磁盤的可靠性。
3、應(yīng)用感知
SandStone AgileCache是杉巖自主研發(fā)的SSD高速緩存，在系統(tǒng)軟件棧上位于SandStone AgileStore的下方，通過(guò)AgileStore與AgileCache的聯(lián)動(dòng)，SandStone USP v3.1可以感知邏輯卷的優(yōu)先級(jí)，將用戶卷劃分為高、中、低三個(gè)優(yōu)先級(jí)，實(shí)現(xiàn)高優(yōu)先級(jí)的卷全部緩存在SSD中，中優(yōu)先級(jí)的卷只有部分熱點(diǎn)數(shù)據(jù)緩存在SSD，較冷的數(shù)據(jù)全部保存在HDD中，通過(guò)應(yīng)用優(yōu)先級(jí)感知實(shí)現(xiàn)IO智能化管理。
SandStone AgileStore對(duì)企業(yè)用戶的價(jià)值
基于SandStone AgileStore推出的杉巖統(tǒng)一存儲(chǔ)平臺(tái)(SandStone USP) v3.1版本，整體性能對(duì)比上個(gè)版本提升40%以上，同時(shí)支持更豐富的高級(jí)企業(yè)級(jí)存儲(chǔ)特性，如：自動(dòng)精簡(jiǎn)配置、ROW無(wú)損快照、數(shù)據(jù)壓縮等等，對(duì)下感知硬件、對(duì)上感知應(yīng)用，在性能大幅提升的同時(shí)，可靠性和智能化對(duì)比原生Ceph都有明顯提高，是真正可商用的高性能企業(yè)級(jí)分布式存儲(chǔ)產(chǎn)品。
當(dāng)下，隨著大容量HDD和SSD的普及，使用2U12盤位的服務(wù)器滿配12TB的硬盤，只需要7臺(tái)服務(wù)器就可以達(dá)到1PB的裸容量，單節(jié)點(diǎn)容量密度的增加對(duì)每個(gè)OSD的處理能力提出了嚴(yán)峻挑戰(zhàn)，SandStone USP v3.1版本依靠獨(dú)有的SandStone AgileStore 和 SandStone AgileCache 技術(shù)，能夠幫助用戶從容應(yīng)對(duì)此種場(chǎng)景，在不增加CPU及內(nèi)存資源額外消耗的前提下，輕松應(yīng)對(duì)容量密集型集群的“最后一公里”問(wèn)題，無(wú)懼業(yè)務(wù)長(zhǎng)時(shí)間以各種變化的IO模型運(yùn)行帶來(lái)的問(wèn)題，節(jié)省用戶硬件投資成本，保障核心應(yīng)用體驗(yàn)。
【關(guān)于杉巖數(shù)據(jù)】
企業(yè)級(jí)軟件定義存儲(chǔ)(SDS)方案和服務(wù)提供商，“+存儲(chǔ)”理念的倡導(dǎo)者和踐行者，由來(lái)自世界500強(qiáng)企業(yè)的專業(yè)存儲(chǔ)團(tuán)隊(duì)為技術(shù)班底組成。幫助企業(yè)級(jí)用戶輕松應(yīng)對(duì)IT向云遷移的存儲(chǔ)挑戰(zhàn)，為大數(shù)據(jù)時(shí)代的商業(yè)決策提供智能存儲(chǔ)。
