大數據分析手段的廣泛應用,助推數據快速增長,存儲形態(tài)相繼經歷了從傳統(tǒng)存儲到大數據存儲1.0再到大數據存儲2.0的變遷,以應對海量數據的挑戰(zhàn)。1.0時代解決了海量存儲的問題,通過分布式架構和軟件定義,讓數據能夠存得下。2.0時代解決了便捷管理的問題,通過多協(xié)議訪問、生命周期管理、異構存儲管理、混合云管理,讓企業(yè)管好數據。
存儲引擎 + 智能引擎:更強大的MOS對象存儲
企業(yè)耗費資本存儲數據,最終是為了利用數據價值創(chuàng)造經濟效益。存儲倘若仍是一個“傻盒子”,只能存儲卻不能感知數據,是無法滿足企業(yè)真正需要的。企業(yè)對數據價值利用的強烈訴求,驅動大數據存儲步入3.0時代。這要求存儲足夠智能,可基于數據感知實現數據處理和智能調度,基于應用感知實現訪問加速,通過存儲自身的智能運維減少人力依賴。如此,才能幫助企業(yè)用好數據,以智能存儲為數字底座,構建面向未來的IT基礎架構。而杉巖MOS海量對象存儲的智能數據處理引擎,正是承載了這一使命。
圖1.海量數據增長催生存儲形態(tài)變遷
從杉巖的產品戰(zhàn)略來看,海量存儲核心引擎和智能數據處理引擎,支撐起了更為強大的MOS對象存儲。前者依托分布式架構、多樣化管理策略以及全面的企業(yè)級特性,滿足企業(yè)存儲和管理海量數據的需求;后者依托開放式平臺和強大的數據處理能力,并基于數據感知實現智能調度,滿足智能處理數據、挖掘數據價值的需求。雙引擎驅動,讓MOS對象存儲集海量數據存儲、管理、價值挖掘于一體,無疑是企業(yè)應對大數據挑戰(zhàn)的極佳選擇。
圖2:MOS雙引擎驅動智能應用
智能數據處理引擎:加速智能應用,釋放數據價值
數字化浪潮來襲,大數據、人工智能的發(fā)展超出預期,在各行業(yè)的落地應用也逐漸鋪開,企業(yè)利用AI挖掘數據價值的需求是不言而喻的。在傳統(tǒng)模式下,對數據庫文件等結構化數據進行價值挖掘相對容易,但是對于圖像、影音等非結構化數據的價值挖掘是比較困難的。
MOS的智能數據處理引擎,正是為此而生。通過對非結構化數據的多維度標簽化和結構化處理,讓有價值的數據更容易被發(fā)現,實現更高效的價值挖掘。有了智能數據處理引擎,數據處理能力下沉到存儲內部,通過與海量存儲核心引擎高效聯(lián)動,并基于數據感知實現智能調度,極大地簡化業(yè)務流程,提升業(yè)務效率。
圖3.智能數據處理引擎工作流程
目前,智能數據處理引擎幫助許多行業(yè)客戶實現了數據的高效價值挖掘,提升收益。
智能管理10億文件,幫助廣發(fā)證券打造內容管理平臺
廣發(fā)證券原來的檔案管理往往需要業(yè)務員人眼篩查,耗時長、易出錯,檔案查詢不夠精準。采用智能數據處理引擎后,當客戶電子檔案存入時,通過身份證識別插件,將客戶的姓名、出生年月、身份證號等信息提取出來并打上標簽,后續(xù)營業(yè)廳工作人員可直接通過檔案檢索界面,根據標簽信息進行檔案的精細化檢索,也可以自定義檢索模板,方便高效。此外,為滿足合規(guī)要求,需將合同文件(Word文檔)轉為PDF文檔并添加水印后再存檔。該項目中對相關文件設定生命周期策略,自動調用智能數據處理引擎的文檔格式轉換(Word轉PDF)和添加水印功能,處理后的文件自動轉存至目標桶,整個過程基于生命周期策略自動觸發(fā),無需人工介入,極大提升了業(yè)務效率。
圖4.智能數據處理引擎對證件照片和文檔的加工處理
智能存儲助力質檢效率提升,幫助UTAC節(jié)省20%存儲空間
UTAC是全球十大芯片封測廠商之一。在其芯片封測產線上,通過工業(yè)攝像機拍攝芯片的高清圖像(BMP格式,單張30MB以上)進行智能質檢,每天數據增量80TB,每月文件增量1.3億個,存儲3-4個月,預計需要PB級存儲空間。進一步交流得知,部分圖片僅前三天需要高清格式,以便于人工復核,三天之后僅作歸檔和檢索,或者直接刪除。利用智能數據處理引擎將BMP圖片轉為JPG圖片(單張10MB以內),并基于圖片標簽實現生命周期自動化管理(如圖片到期自動刪除,轉碼后歸檔到冷池)。該方案幫助用戶節(jié)省20%存儲空間,且數據處理效率相比傳統(tǒng)方案提升了30%,總體成本降低了60%以上。
圖5.智能數據處理引擎對圖像文件的自動化處理
智能數據處理引擎在機器學習場景的應用
機器學習場景下,訓練素材以圖片為主。如果原始素材是視頻文件,可以通過MOS智能數據處理引擎,在存儲內部對視頻進行抽幀,抽幀后產生的圖片用于訓練推理。如果有特殊需要,可以對抽幀圖片進行二次處理或自定義標簽,再用于推理訓練,顯著提升訓練效率。
開放生態(tài),打造強大的智能處理平臺
杉巖MOS智能數據處理引擎就像應用市場一樣,是一個開放式平臺,可以集成豐富的第三方插件,比如合合信息的身份證識別、票據識別等插件,微模式公司的人臉識別、車輛識別等插件,用戶可以按需添加插件,擴展數據處理能力。
目前,MOS智能數據處理引擎支持圖片轉碼、圖片裁剪、添加水印、身份證識別、人臉識別、車牌識別、票據識別、文檔識別、語音識別、內容提取、文件格式轉換等20余項處理功能,為用戶提供更強大的智能處理平臺,滿足不同場景的數據處理需求。
智能數據處理引擎的使用有多簡單?請戳視頻,一睹為快
智能數據處理引擎是杉巖數據面對大數據存儲發(fā)展趨勢的應對方案,在海量存儲和便捷管理的基礎上,讓存儲“理解”數據,基于數據感知實現數據預處理和智能調度,簡化業(yè)務流程;基于應用感知實現訪問加速,快速響應業(yè)務需求;依托智能運維減少人力依賴,打造更強大的智能數字底座,構建面向未來的智能IT基礎架構。