隨著移動(dòng)互聯(lián)網(wǎng)、5G、人工智能等新技術(shù)的發(fā)展，非結(jié)構(gòu)化信息的數(shù)據(jù)量越來(lái)越大。據(jù)Gartner預(yù)估，在快速增長(zhǎng)的數(shù)據(jù)中，非結(jié)構(gòu)化數(shù)據(jù)占比已達(dá)80%，企業(yè)現(xiàn)有架構(gòu)已無(wú)法應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的管理與利用等需求。
01
XSKY在管理非結(jié)構(gòu)化數(shù)據(jù)方面可以提供整體解決方案：利用XEOS對(duì)象存儲(chǔ)提供非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理功能，同時(shí)基于全新發(fā)布的S3 Console軟件(一款訪問(wèn)和管理對(duì)象存儲(chǔ)服務(wù)的圖形化Web應(yīng)用程序)，提供存儲(chǔ)共享、內(nèi)容管理和數(shù)據(jù)洞察的能力。
簡(jiǎn)化數(shù)據(jù)訪問(wèn)
對(duì)象存儲(chǔ)一般情況下只是作為一種IT基礎(chǔ)設(shè)施，給業(yè)務(wù)系統(tǒng)提供存儲(chǔ)服務(wù)。使用XSKY S3 Console提供的Web圖形界面可以方便的訪問(wèn)、移動(dòng)和管理對(duì)象存儲(chǔ)中的數(shù)據(jù)。將存儲(chǔ)空間共享出來(lái)，變成一種經(jīng)濟(jì)實(shí)惠的文檔管理解決方案，并且具有更好的可靠性和性能。企業(yè)內(nèi)的普通用戶也可以安全地訪問(wèn)存儲(chǔ)，提高存儲(chǔ)利用率，節(jié)省企業(yè)投入成本。
豐富管理功能
對(duì)象存儲(chǔ)本身只能提供如存儲(chǔ)池、服務(wù)器、硬盤(pán)、桶等存儲(chǔ)資源級(jí)別的管理功能。XSKY S3 Console在數(shù)據(jù)級(jí)別提供了碎片管理、訪問(wèn)控制、標(biāo)簽/元數(shù)據(jù)管理、版本控制、斷點(diǎn)續(xù)傳等管理功能，進(jìn)一步增強(qiáng)了對(duì)象存儲(chǔ)的管理能力。
提供洞察能力
XSKY S3 Console基于對(duì)象存儲(chǔ)查詢引擎提供全局的數(shù)據(jù)檢索功能，配合標(biāo)簽管理、自定義元數(shù)據(jù)功能可以方便的實(shí)現(xiàn)對(duì)象數(shù)據(jù)的分類(lèi)與檢索。
后續(xù)，S3 Console還計(jì)劃增加桶、文件夾的容量分析，請(qǐng)求統(tǒng)計(jì)等功能，桶內(nèi)數(shù)據(jù)的分布和訪問(wèn)情況實(shí)現(xiàn)可視化，從而快速識(shí)別桶內(nèi)可能存在的空間浪費(fèi)情況，并據(jù)此做出優(yōu)化。
02
目前，XSKY S3 Console在早前基礎(chǔ)上，又快速迭代新增了以下6項(xiàng)功能：
元數(shù)據(jù)檢索
元數(shù)據(jù)檢索在對(duì)象存儲(chǔ)使用中是比較重要的特性，用戶根據(jù)使用需要查詢相應(yīng)對(duì)象數(shù)據(jù)進(jìn)行分析利用，或者上層應(yīng)用直接調(diào)取查詢接口獲取相應(yīng)數(shù)據(jù)進(jìn)行分析使用。
XSKY S3 Console新版本中基于XEOS產(chǎn)品特有的查詢引擎，實(shí)現(xiàn)了高級(jí)的元數(shù)據(jù)檢索功能。支持全局文件進(jìn)行精準(zhǔn)檢索，包括根據(jù)對(duì)象名稱(chēng)、大小、更新日期等基本信息，以及標(biāo)簽、自定義元數(shù)據(jù)等附加信息作為檢索條件進(jìn)行數(shù)據(jù)檢索。
具體流程：首先，在XEOS管理界面上啟用查詢引擎，然后使用 S3 Console訪問(wèn)該XEOS集群，S3 Console會(huì)自動(dòng)識(shí)別查詢引擎的存在并開(kāi)啟對(duì)象查詢功能。
如下圖所示，通過(guò)產(chǎn)品界面配置檢索條件進(jìn)行查詢，直接列出相應(yīng)檢索結(jié)果。在檢索結(jié)果列表上，支持與文件列表類(lèi)似的操作，包括剪切、復(fù)制、粘貼、下載、重命名等。
使用元數(shù)據(jù)檢索功能，可以快速查找并訪問(wèn)特定的對(duì)象數(shù)據(jù)、進(jìn)行相應(yīng)的操作，從而提高終端用戶管理和使用對(duì)象數(shù)據(jù)的效率。
碎片管理
XSKY S3 Console可靈活控制數(shù)據(jù)的上傳下載等傳輸并發(fā)，默認(rèn)支持分段上傳及并發(fā)設(shè)置，提高數(shù)據(jù)傳輸效率。但在使用S3的分段上傳功能上傳文件時(shí)，文件會(huì)被切分成許多碎片(Part)上傳到存儲(chǔ)桶中，最后再通過(guò)完成接口將碎片組合成完整的文件。
在取消分段上傳任務(wù)或其他沒(méi)有完成分段上傳任務(wù)的情況下，都可能造成這些碎片殘留在存儲(chǔ)桶中。一些支持?jǐn)帱c(diǎn)續(xù)傳的第三方工具也可能造成類(lèi)似的碎片殘留，造成存儲(chǔ)空間的浪費(fèi)。
可以通過(guò)新增的碎片管理功能了解桶中文件碎片的殘留情況，并對(duì)不必要的碎片進(jìn)行清理。
如上圖可通過(guò)管理界面查看到當(dāng)前桶中上傳文件過(guò)程中殘留的碎片，對(duì)桶中不必要的碎片進(jìn)行清理，提高存儲(chǔ)利用率，同時(shí)提高列出桶中對(duì)象的效率。
權(quán)限策略
桶權(quán)限策略(Bucket Policy)提供了基于資源(包括桶、桶內(nèi)資源)的細(xì)粒度訪問(wèn)控制的能力。從訪問(wèn)來(lái)源、訪問(wèn)目標(biāo)、操作類(lèi)型、過(guò)濾條件幾個(gè)方面提供豐富的控制策略，精細(xì)化授權(quán)用戶及資源的訪問(wèn)權(quán)限。
用戶可以限制某些用戶對(duì)一些特定資源的訪問(wèn)，也可以將原本私有的資源開(kāi)放給滿足特定條件的用戶進(jìn)行訪問(wèn)。例如，企業(yè)內(nèi)部的機(jī)密文檔，只允許在企業(yè)內(nèi)部分用戶訪問(wèn)，不允許未授權(quán)的用戶訪問(wèn)行為。這種可以基于桶權(quán)限策略來(lái)限制用戶的訪問(wèn)，從而高效方便地進(jìn)行授權(quán)。
如上圖所示，權(quán)限策略功能提供了完善的JSON編輯器給用戶進(jìn)行設(shè)置，編輯器支持語(yǔ)法高亮、語(yǔ)法檢查等功能。此外，界面上還提供了一些常用示例，供用戶復(fù)制、參考。
斷點(diǎn)續(xù)傳
為了避免已經(jīng)上傳的分段數(shù)據(jù)重復(fù)上傳，提高數(shù)據(jù)上傳效率。在任務(wù)管理列表中增加了暫停和繼續(xù)的斷點(diǎn)續(xù)傳功能，進(jìn)行中的上傳任務(wù)可以中途“暫停”，下次點(diǎn)“繼續(xù)”時(shí)則會(huì)從上次完成的分段數(shù)據(jù)之后開(kāi)始繼續(xù)上傳，避免已經(jīng)上傳的分段數(shù)據(jù)重復(fù)上傳。使用“暫停”可中斷低優(yōu)先級(jí)的任務(wù)，讓重要的任務(wù)優(yōu)先進(jìn)行。
自定義元數(shù)據(jù)
對(duì)象元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)或者叫做用來(lái)描述數(shù)據(jù)的數(shù)據(jù)，是對(duì)象本身包含的一組基本信息，類(lèi)似文件的屬性，如：名稱(chēng)、日期、大小等。自定義元數(shù)據(jù)是指用戶在上傳對(duì)象時(shí)或上傳之后給對(duì)象添加元數(shù)據(jù)，其中包括系統(tǒng)元數(shù)據(jù)和用戶自定義的元數(shù)據(jù)。元數(shù)據(jù)可以作為對(duì)象查詢的條件。在下載對(duì)象的時(shí)候，元數(shù)據(jù)信息會(huì)隨對(duì)象一起被獲取。
通過(guò)對(duì)象元數(shù)據(jù)信息輔助應(yīng)用檢索感知，同時(shí)可為用戶提供查詢條件。
自定義標(biāo)簽
通過(guò)Tag標(biāo)簽來(lái)定義對(duì)象數(shù)據(jù)的關(guān)鍵詞，利用標(biāo)簽將對(duì)象數(shù)據(jù)進(jìn)行分組管理和歸類(lèi)更有利于搜索和批量操作。
S3 Console提供的自定義標(biāo)簽功能允許用戶在上傳對(duì)象時(shí)或上傳之后給對(duì)象添加標(biāo)簽。結(jié)合對(duì)象查詢功能，能夠快速查找到一組同類(lèi)型的對(duì)象。除此之外，在進(jìn)行對(duì)象的訪問(wèn)控制、生命周期等設(shè)置的時(shí)候，也可以利用標(biāo)簽進(jìn)行對(duì)象的過(guò)濾操作。
03
本次迭代中，為了提供最佳的使用體驗(yàn)，S3 Console還做了以下功能優(yōu)化：
1、一鍵部署
提供一鍵部署功能，用戶可以在SDS集群主機(jī)上部署S3 Console，也可以在獨(dú)立的主機(jī)、VM上部署;
2、批量下載
優(yōu)化了文件下載體驗(yàn)，支持下載整個(gè)文件夾，此時(shí)S3 Console會(huì)將文件夾打包成一個(gè)zip文件進(jìn)行下載，下載完成后可以在本地解壓出完整的文件夾并保留了和線上一致的文件夾結(jié)構(gòu);
3、文件夾下載
支持選中多個(gè)文件或文件夾，一次性觸發(fā)批量下載，提高使用效率及體驗(yàn);
4、拖拽上傳
優(yōu)化了文件上傳體驗(yàn)，只需要打開(kāi)本地的資源管理器(Windows)或訪達(dá)(Mac)，將文件或文件夾拖拽到S3 Console的文件列表中即可觸發(fā)上傳操作;
5、失敗任務(wù)原因
對(duì)于上傳或下載的任務(wù)有失敗情況，會(huì)友好的展示圖其任務(wù)失敗的原因，輔助用戶排查定位，提升使用體驗(yàn)。
XSKY S3 Console的新增和優(yōu)化特性，使得XSKY XEOS對(duì)象存儲(chǔ)可以更好的滿足對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的管理與分析利用等需求。讓企業(yè)用戶輕松便捷的管理數(shù)據(jù)內(nèi)容，更近一步拉近對(duì)象存儲(chǔ)和用戶的距離。
