ITBear旗下自媒體矩陣:

數據存儲智能化,杉巖打造新基建數字底座

   時間:2020-09-23 21:08:57 來源:互聯(lián)網編輯:星輝 發(fā)表評論無障礙通道

過去二十年,數字經濟蓬勃發(fā)展,深刻改變了人們的生產和生活方式。數據已經成為數字經濟時代最核心的生產要素。移動互聯(lián)網成為社會的數字基礎設施,社交網絡、電子商務、移動支付已經重構每一個中國人的生活方式,人工智能在各行業(yè)的應用持續(xù)拓展和深化,有望成為新一代的技術基礎設施。工業(yè)互聯(lián)網已在千行百業(yè)生根發(fā)芽,賦能工業(yè)企業(yè)實現數字化轉型,通過對數據的采集和分析形成智能反饋,推動形成全新的生產制造和服務體系,提高企業(yè)生產效率,創(chuàng)造差異化的產品和增值服務,隨著5G網絡部署逐漸鋪開,企業(yè)的智能化升級正得到進一步加速。

一、數字化基礎設施產生海量數據,存儲產業(yè)面臨巨大機會

新基建涵蓋了眾多的數字化基礎設施:云計算、人工智能、工業(yè)互聯(lián)網、5G、物聯(lián)網、數據中心、智能計算中心等信息基礎設施,以智能交通、智慧能源為代表的融合基礎設施。新基建以數字化為核心,推動產業(yè)向高端化發(fā)展,這個過程必然產生大量的數據以及相應的采集、存儲、分析和歸檔需求。根據機構預測,到2025年智能終端數量將達到400億個,全球數據總量也將從2020年的44ZB躍升到180ZB,其中30%屬于實時數據,75%來自邊緣和終端。

https://www.szsandstone.com/uploads/20200522/9e80d54661c9c835c26492cb5ac51b66.jpg

數據不僅總量巨大,增長速度也十分驚人,一家智能化的醫(yī)院每天可以生成3TB數據,一座智能工廠每天生成1PB數據,一座智慧城市每天產生的數據量是250PB。新基建將加速企業(yè)的數字化轉型,大量新的硬件與應用帶來數據量快速增長的同時,也讓數據類型越來越多樣化。生產、采集和保存盡可能多的數據,用于全量分析以洞察先機已成為企業(yè)的共識。海量數據蘊含巨大的價值,給存儲系統(tǒng)帶來了前所未有的機會和挑戰(zhàn)。

二、量變引發(fā)質變,海量數據的管理日益復雜

隨著網絡邊緣設備增多、數據規(guī)模增長,數據的分布、流動和處理的模式在發(fā)生變化,企業(yè)計算架構隨著技術和業(yè)務需求的更新也在不斷演進,新的問題逐漸浮現。

 數據的時間價值凸顯

數據隨時間不斷產生,同時在智能應用中持續(xù)迭代計算,從物聯(lián)網獲取的數據更附帶了鮮明的時序屬性。在任何時刻,近期產生的數據和頻繁參與計算的基礎數據相對更有價值,數據在不同歷史階段的使用頻次不同,而總量巨大的數據必然需要占用寶貴的存儲空間,因此高性能存儲保存高價值數據、常規(guī)存儲保存中等價值數據、高性價比存儲空間保存低價值數據并綜合考慮數據的傳輸成本是合理的介質資源分配邏輯,數據在不同介質之間的存儲、流轉和生命周期管理是未來管理者的基礎需求。

 混合云存儲的數據自由流動

為適應競爭激烈的市場環(huán)境,企業(yè)在努力縮短與客戶的距離,大量業(yè)務向互聯(lián)網化和敏捷化的方向演進,逐漸形成了在公有云部署敏捷業(yè)務、在私有云存儲核心數據的局面,這種公共云和私有云共存的形態(tài)在未來很長時間都會是常態(tài)。因此,如何實現公共云和私有云之間數據的自由流動,如何做到業(yè)務無感知,用戶不需要關注數據的位置,實現數據的融合、自由遷移和安全合規(guī)非常重要。

云邊協(xié)同的數據管理

萬物互聯(lián)的5G時代,物與物之間的連接將急劇增多,終端數量增長,數據采集渠道更加豐富,物聯(lián)網設備將在網絡邊緣對數據進行計算、存儲、處理和分析,邊緣存儲適用于與物聯(lián)網設備緊密相關、數據傳輸延遲敏感、數據交互次數多、數據傳輸量大的物聯(lián)網應用,如工業(yè)物聯(lián)網、車聯(lián)網、智慧城市、無人機、視頻監(jiān)控等。數據在云存儲和邊緣存儲之間的流動更趨復雜,云邊協(xié)同的數據管理能力變得尤為重要。

簡化管理應對數據中心架構變革

企業(yè)計算架構處于全方位的變革中,傳統(tǒng)計算能力讓位于虛擬化、云化、容器化和智能化,單一的文件存儲和塊存儲正在被經濟高效的軟件定義存儲替代。數據中心架構變革處在新舊轉換期,軟件定義存儲呼嘯而來,傳統(tǒng)存儲仍有存在價值,二者的統(tǒng)一管理將有效降低數據中心的建設和運維成本。

三、為海量數據而生的智能存儲

不同類型的基礎技術和業(yè)務需求導致了存儲對數據感知能力的差異。塊存儲廣泛應用于業(yè)務專有系統(tǒng)中,這類系統(tǒng)要求很高的隨機讀寫性能,因此塊存儲有較強的I/O感知能力,對不同大小數據塊(如4KB/8KB/16KB)讀寫能夠感知和加速讀寫。文件存儲通常要兼顧多個應用和更多用戶訪問,以文件為單位的讀寫使得文件存儲在一定程度上可以感知內容,對不同類型的文件(如文檔、圖片、音頻、視頻)讀寫有對應的優(yōu)化手段。

基礎技術的不同也導致存儲特性的較大差異,塊存儲如同跑車,容量有限但追求極致的速度、穩(wěn)定性和可靠性;文件存儲如同大貨車,容量較大,兼容性好,如果不需要極限性能,可以適用于各種常規(guī)存儲需求;新興的對象存儲如同超大型集裝箱船舶,容量極大,支持海量并發(fā)訪問,內置的元數據結構可用于識別數據的多維度屬性,使得對象存儲可以實現應用感知(如某數據庫應用、某機器視覺的工業(yè)應用、某人工智能應用的模型訓練),并因此針對智能應用提供加速能力,甚至將一些在應用層處理代價很高的問題卸載到存儲服務器中解決。

以對象存儲為核心技術的海量智能存儲,憑借靈活的去中心化架構帶來的彈性擴展能力、高并發(fā)訪問等天然優(yōu)勢,消除了容量和性能的約束,輕松支撐EB級規(guī)模,以千萬級IOPS和TB級聚合帶寬滿足高并發(fā)訪問需求,提供多層次多策略的企業(yè)級數據保護,加之部署簡單、靈活擴容的特點,逐漸取代傳統(tǒng)存儲,為海量數據提供極致容量、極致性能、極致可靠的底層支撐,為工業(yè)應用提供智能的數據服務,是數字化基礎設施堅實的數字底座。

四、全新的數據模式需要多元化的數據管理

因為數據規(guī)模的增長、數據來源的泛化、應用的容器化,應用和數據的分布呈多元化發(fā)展,需要有豐富的策略管理日益復雜的數據分布和流動模式。

https://www.szsandstone.com/uploads/20200522/b03c0d55b11e443e95c99da649cc8108.jpg

全生命周期自動化管理

數據的遷移管理目前主要依靠人力完成,運維人員的經驗決定了管理的質量,數據的容量決定了遷移的效率。智能存儲根據數據訪問頻率以及對數據內容和上層應用的感知,通過策略自動化管理熱溫冷數據的流動,解放人力簡化運維。比如在醫(yī)院的PACS影像系統(tǒng)中,近期影像存放在高性能介質,三個月以上的中期影像數據存放在低成本介質,一年以上的影像自動歸檔到藍光存儲或公有云平臺長期保存,兼顧性能和成本需求,數據分層效率提升十倍,而且顯著降低管理難度。

混合云存儲的統(tǒng)一管理

出于安全和成本的考量,企業(yè)往往將敏捷業(yè)務部署在公有云,同時將重要數據存放在私有云,以兼顧業(yè)務靈活和數據安全。企業(yè)存儲需要和公有云存儲結合起來,提供業(yè)務無感知的數據融合和流動。杉巖數據和阿里云在這個領域開展了非常有益的合作,作為國內第一家支持阿里云OSS云存儲服務的企業(yè)存儲廠商,企業(yè)客戶將可以實現應用和數據的靈活部署,應用部署地點和數據存儲空間不再相互制約,滿足“敏捷-安全-成本”的混合云存儲需求。

總部與分支機構間的數據匯聚和分發(fā)

云邊協(xié)同的數據管理能力對存儲系統(tǒng)支撐總部與分支機構間的數據匯聚和分發(fā)至關重要。跨地域的機構內數據訪問,需要在較低的網絡帶寬條件下實現較高的讀寫性能、跨區(qū)域的統(tǒng)一文件視圖和異地容災能力。為了在相互矛盾的條件下滿足上述需求,企業(yè)智能存儲需要提供一個數據同步和分發(fā)架構,在存儲層面實現跨區(qū)域集群數據的統(tǒng)一命名空間和數據流動,通過雙活架構提供數據災難恢復能力,通過CDN實現總部中心節(jié)點的數據分發(fā),通過分支機構的數據就近寫入實現總部的數據自動匯聚,并通過跨區(qū)域的數據調度簡化應用層數據共享的復雜性。

 傳統(tǒng)存儲和軟件定義存儲的統(tǒng)一管理

隨著企業(yè)數據中心架構整體轉向軟件定義,必須考慮新舊設備綜合利用的需求,軟件定義存儲的部署越來越多,與此同時傳統(tǒng)存儲也將長期存在并在其生命周期中繼續(xù)發(fā)揮作用,通過對異構存儲的統(tǒng)一管理整合現有設備資源可有效保護既有投資。杉巖數據已經支持對文件存儲設備的納管,對塊存儲設備的納管也將根據客戶和合作伙伴的需求陸續(xù)提供。

五、雙擎驅動:存儲核心引擎 + 智能數據處理引擎

高效支撐海量數據的智能存儲,既要立足當下,更要面向未來。杉巖數據敏銳地洞察到高效存儲海量小文件(小于500KB)是很多對象存儲客戶的核心需求,長時間寫入以數十億計的小文件很容易引發(fā)性能降級,在存儲容量利用率較高的時候下降幅度尤為明顯,杉巖數據存儲核心引擎通過在分布式負載管理、元數據加速、文件合并讀寫等關鍵技術的長期投入實現了百億級小文件的性能高度穩(wěn)定,已經達到超越行業(yè)30%的水準。

在企業(yè)經營活動中,數據智能驅動生產決策,深度挖掘數據價值成為剛需。智能存儲不僅僅存放數據,更與前端應用深度融合,滿足數據處理、機器學習場景的應用需求。杉巖智能存儲內置了一套智能數據處理引擎,對企業(yè)應用需要的數據處理、快速文件檢索、機器學習模型訓練提供支撐能力,實現智能應用的流程精簡,大幅降低了用于智能計算的硬件投入需求,快速提升數據處理效率。比如智能數據處理引擎提供的圖像處理功能,可以在存儲系統(tǒng)中實現圖片轉碼、文件格式轉換、視頻抽幀,以節(jié)省容量需求、加速數據處理;通過圖像識別和OCR功能,幫助證券公司優(yōu)化AI質檢算法,提高質檢效率;通過對海量原始數據的歸檔、元數據加速的快速文件檢索幫助優(yōu)化AI算法,加快機器學習模型訓練的迭代速度。

六、海量智能存儲打造新基建數字底座

新基建為中國的產業(yè)升級清晰地指明了方向,數字化基礎設施的廣泛建設以及隨之產生的新型應用需求將帶來了數據爆發(fā)式的增長,海量數據蘊含巨大的價值,在帶來更多機遇的同時,也給傳統(tǒng)的IT基礎設施帶來了前所未有的挑戰(zhàn),更多樣化的數據模式、日益復雜的數據管理以及高效的數據利用對存儲提出了更高的要求,建設新一代海量智能存儲成為解決這些數據應用問題的關鍵,智能存儲必將成為新基建的堅實數字底座。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯(lián)系方式  |  版權聲明  |  網站留言  |  RSS訂閱  |  違規(guī)舉報  |  開放轉載  |  滾動資訊  |  English Version