DT(Data Technology)時(shí)代，隨著企業(yè)的發(fā)展，不斷產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)規(guī)模越來(lái)越龐大。企業(yè)降低成本和提升效率需求的攀升，促使其不斷尋找新的解決方案，創(chuàng)造新的價(jià)值，應(yīng)對(duì)新的挑戰(zhàn)。
本期華云大咖說(shuō)與您一同分享對(duì)象存儲(chǔ)在金融行業(yè)的應(yīng)用，助力金融企業(yè)探尋存儲(chǔ)發(fā)展路線(xiàn)圖，幫助企業(yè)更好地使用對(duì)象存儲(chǔ)。
核心觀點(diǎn)：
1.我們正在進(jìn)入從IT時(shí)代到DT時(shí)代的轉(zhuǎn)型階段。我們熟悉的IT是信息技術(shù)，是以控制管理、積累數(shù)據(jù)為主。DT時(shí)代，它是以數(shù)據(jù)創(chuàng)新、激發(fā)生產(chǎn)力為主的技術(shù)。DT時(shí)代依托于大數(shù)據(jù)采集，采用傳統(tǒng)大數(shù)據(jù)加工轉(zhuǎn)變?yōu)榭鞌?shù)據(jù)加工。優(yōu)先豐富精準(zhǔn)的指標(biāo)體系形成推動(dòng)社會(huì)進(jìn)步、提升幸福指數(shù)的深數(shù)據(jù)。
2.隨著數(shù)字化轉(zhuǎn)型升級(jí)和新技術(shù)的普遍應(yīng)用，海量非結(jié)構(gòu)化數(shù)據(jù)以每年60%—80%的速率增長(zhǎng)，這不僅給數(shù)據(jù)存儲(chǔ)行業(yè)帶來(lái)前所未有的機(jī)遇與挑戰(zhàn)，如何解決數(shù)據(jù)存儲(chǔ)更多、更快、更穩(wěn)定，實(shí)現(xiàn)可擴(kuò)展的需求，也成為當(dāng)前迫在眉睫需要解決的問(wèn)題。
3.目前，傳統(tǒng)NAS存儲(chǔ)面對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的新問(wèn)題包括：海量小文件性能、數(shù)據(jù)安全、大容量空間管理、價(jià)值挖掘。
4.對(duì)象存儲(chǔ)是用來(lái)描述解決和處理離散單元的方法的通用術(shù)語(yǔ)。對(duì)象在一個(gè)層結(jié)構(gòu)中不會(huì)再有層級(jí)結(jié)構(gòu)，是以擴(kuò)展元數(shù)據(jù)為特征的。
5.對(duì)象存儲(chǔ)和文件系統(tǒng)在接口上的本質(zhì)區(qū)別是對(duì)象存儲(chǔ)不支持和fread和fwrite類(lèi)似的隨機(jī)位置讀寫(xiě)操作，即一個(gè)文件PUT到對(duì)象存儲(chǔ)里以后，如果要讀取，只能GET整個(gè)文件，如果要修改一個(gè)對(duì)象，只能重新PUT一個(gè)新的到對(duì)象存儲(chǔ)里，覆蓋之前的對(duì)象或者形成一個(gè)新的版本。
6.對(duì)象存儲(chǔ)與熟悉的塊和文件存儲(chǔ)略有不同。它將數(shù)據(jù)整理到可靈活調(diào)整大小的數(shù)據(jù)容器中，也就是對(duì)象。這些對(duì)象存儲(chǔ)在可能跨多個(gè)位置的平面命名空間中。每個(gè)對(duì)象都包含數(shù)據(jù)(未解釋的字節(jié)序列)和元數(shù)據(jù)(獨(dú)一無(wú)二的 ID 再加上描述該對(duì)象的一組可擴(kuò)展屬性)。
7.此方式的優(yōu)勢(shì)在于，可以基于任何屬性引用和查詢(xún)數(shù)據(jù)。此外，不同于很容易放錯(cuò)地方的紙質(zhì)停車(chē)票據(jù)，您可以通過(guò)多種方式找到正確的“票據(jù)”，而且還可以根據(jù)需要采用安全或簡(jiǎn)單的方式使用票據(jù)。標(biāo)識(shí)符標(biāo)記支持大量文件索引，高出文件系統(tǒng)幾個(gè)數(shù)量級(jí)，因而對(duì)象存儲(chǔ)成為分布在各地并且包含幾十億個(gè)文件的企業(yè)存儲(chǔ)的理想選擇。
8.目前，金融是對(duì)象存儲(chǔ)需求最大的行業(yè)。以銀行為例，銀行的票證單據(jù)電子化存檔系統(tǒng)對(duì)存儲(chǔ)分為在線(xiàn)和近線(xiàn)兩部分，在線(xiàn)數(shù)據(jù)通常保留3年，3年后再歸檔至近線(xiàn)存儲(chǔ)進(jìn)行長(zhǎng)期保存，以便后續(xù)檢索與查詢(xún)。由于歸檔數(shù)據(jù)需要保存15年，銀行預(yù)測(cè)未來(lái)全行數(shù)據(jù)量將超過(guò)100PB。而當(dāng)前采用光盤(pán)塔設(shè)備歸檔，存在歸檔速度慢、查詢(xún)響應(yīng)時(shí)間長(zhǎng)達(dá)30分鐘、無(wú)法大規(guī)模擴(kuò)容等問(wèn)題，需要為金融行業(yè)搭建接口標(biāo)準(zhǔn)化、規(guī)范化、高可用、高可靠、高性能的分布式云存儲(chǔ)平臺(tái)。
9.對(duì)象存儲(chǔ)使用典型場(chǎng)景包括：文檔云、云盤(pán)、內(nèi)容和媒體服務(wù)、批處理、容錯(cuò)和高可用性、大規(guī)模處理和超大數(shù)據(jù)集、文件同步、日志分析等。
