ITBear旗下自媒體矩陣:

百度:打造可信云存儲服務

   時間:2013-01-15 11:08:26 來源:李敏 郭杏榮編輯:星輝 發(fā)表評論無障礙通道

近期關于網盤市場整合的消息很多,業(yè)內人士也注意到純粹出售網絡存儲空間的商業(yè)模式存在很大的問題,連Dropbox這樣的網絡存儲先鋒企業(yè)也在收購在線音樂網站,實現(xiàn)業(yè)務的轉型。百度云存儲從2012年7月底正式發(fā)布到12月底,用戶超過2600萬,并且這個數(shù)字還在快速推進,在其迅猛增長的背后我們看到了強大的基礎設施以及創(chuàng)新的商業(yè)模式,給網絡存儲行業(yè)提供了一些參考:

1. 構建在久經考驗的基礎設施之上的可信存儲平臺

2. 一人一云,真正實現(xiàn)用戶數(shù)據(jù)唯一性、,不能被設備分割,也不能被應用分割

3. 存儲平臺要enable很多新的應用與體驗;用戶感興趣的是應用,而不是硬盤

傳統(tǒng)的互聯(lián)網業(yè)務都是免費+廣告模式,是Best-effort模式,而云存儲運營服務則提出了非??量痰囊螅吘褂脩粢獮榇烁顿M,自然會按照付費服務標準來要求。最簡單的方法可以類比電信運營商,電信系統(tǒng)的要求就是不間斷運行、大容量、高穩(wěn)定性、高可靠性。之所以提出這么多要求,因為電信網絡支撐了整個信息社會的基礎,一旦發(fā)生故障就會帶來巨大的損失。而云存儲面臨同樣的問題,用戶與企業(yè)將很多關鍵的數(shù)據(jù)放到供應商的數(shù)據(jù)中心,這里面除了一些娛樂信息以外,還有很多個人隱私的數(shù)據(jù)、甚至是開發(fā)者一些關鍵的商業(yè)數(shù)據(jù),故障與安全問題帶來的影響和損失也是非常巨大的。

可信的存儲平臺

百度在云存儲后臺使用了經過驗證的Mola系統(tǒng),穩(wěn)定性達到4個9。Mola是一個分布式存儲引擎采用Key-Value存儲形式,適用于可擴展性強、訪問并發(fā)性強的業(yè)務。Mola于2008年開始設計,2009年投入使用已經接近4年的時間,支撐了百度搜索、音樂、百度地圖等相關應用。經過幾年的演進升級,目前已經升級到第三代。

Mola是百度四大存儲系統(tǒng)之一。百度目前要處理數(shù)百PB的數(shù)據(jù),涉及到網頁、日志、廣告、UGC等相關內容。每一類的數(shù)據(jù)都有自己的特點,需要不同的存儲系統(tǒng)來支持,以達到效率最大化。比如日志數(shù)據(jù)對實時性要求就不是太高,但是信息海量;有些數(shù)據(jù)比如廣告,數(shù)據(jù)量不是很大,但是涉及到商業(yè)行為,對低延遲、高并發(fā)以及數(shù)據(jù)的可靠性等方面要求非常高。而Mola正是基于低延遲、高并發(fā)設計的存儲系統(tǒng)。在Mola第三代系統(tǒng)中,又增加了對強一致性查詢的支持。

高并發(fā)、易擴展

云存儲的并發(fā)是非常大,比如百度個人云存儲上線第一天,文件提交量達到7000萬個。Mola是這樣實現(xiàn)對高并發(fā)的支持:在Mola系統(tǒng)中有三個核心組成部分(圖1):Meta Server,Update Server與Chunk Server。數(shù)據(jù)實際上式存儲在Chunk Server上,Meta Server存儲的是數(shù)據(jù)的組織和分布信息,記錄了每一個表格都存在哪個Chunk Server,Update Server有點類似交換機,通過此Server將數(shù)據(jù)發(fā)送到具體的Chunk Server。, Mola系統(tǒng)中設置了多組Update Server以增加對高并發(fā)的支持,減少文件存儲時延。當業(yè)務不斷增長時,存儲規(guī)模擴展可以通過增加新的Chunk Server來完成,可擴展性很強強。

在實際的存儲文件過程中,如果文件太大,對整個文件進行存儲,不是很安全,效率也不高,百度的做法是切成小單位,然后在保存在Mola系統(tǒng)里面去(可能存在不同的服務器上),讀取的時候再按照拆分的順序組合成原文件。

多副本存儲與副本快速恢復

為了保證云存儲的高可用性,數(shù)據(jù)采用3份冗余存儲,讀取數(shù)據(jù)時會按負載均衡選擇一個Chunk Server上的副本,因此只要有一臺Chunk Server存活,服務就可用。此外,如果某個Chunk Server出現(xiàn)問題,也可以進行副本快速恢復,因為數(shù)據(jù)的分片是打散在所有的Chunk Server上,單臺Chunk Server在進行數(shù)據(jù)恢復時候,可以多機給一臺機器傳輸數(shù)據(jù)。

在云存儲中用戶存儲的數(shù)據(jù)中大部分是非結構化的可以通過Mola來存儲;此外用戶還是有一些結構化的數(shù)據(jù),比如聯(lián)系人、短信、收藏的音樂、電影以及游戲進度、裝備、設置等;這些結構化數(shù)據(jù)則通過增加結構化存儲來解決。

云端管多層次安全機制

在安全方面,百度也從云端管三個方面設置了多項安全的保障,確保用戶安全放心地使用云存儲服務。

1. 云:數(shù)據(jù)中心災備;多副本冗余;數(shù)據(jù)隔離;安全監(jiān)測用戶分享內容

2. 端:OAuth2.0 安全認證;統(tǒng)一訪問控制系統(tǒng)

3. 管:HTTPS加密數(shù)據(jù)傳輸

比如在云端,百度搭建了ACL(Access Control List)服務器,讓開發(fā)者定義語法,界定存儲對象是公開還是私有,或者允許某些特定用戶訪問。對個人用戶而言,也可以指定哪些數(shù)據(jù)或者哪些子目錄下的數(shù)據(jù)可以公開給某些應用使用,靈活控制數(shù)據(jù)的使用、同時提供安全保障。

實現(xiàn)數(shù)據(jù)唯一性

從國內主流的網盤來看,大都實現(xiàn)了數(shù)據(jù)在不同終端之間的同步,有些可以針對不同終端進行媒體的適配,提高用戶體驗。但并沒有解決不同應用之間的數(shù)據(jù)共享問題。比如在微博上朋友分享的照片,如果要想同時在微信上分享給別的好友,那用戶只能是先從微博上把照片單獨拷貝到網盤,然后再到微博上去分享。理想的狀態(tài)是只要有更新的照片,無論是來自哪個應用,只要用戶許可,其他應用都可以看到這些數(shù)據(jù),并且觸發(fā)某些操作(當然用戶也可以設置不這樣做),百度云做到了這一點。

盡管網盤可以實現(xiàn)多終端之間的數(shù)據(jù)同步,但是針對不同應用產生的數(shù)據(jù)而言還是被分割的。而大多數(shù)的情況是,用戶的數(shù)據(jù)產生都是伴隨應用而來,比如在線音樂、視頻、UGC(唱吧)等等。但是數(shù)據(jù)不能限制在這些應用的邊界內。百度個人云存儲則實現(xiàn)了數(shù)據(jù)真正屬于個人,用戶自己支配數(shù)據(jù)如何使用。

Enable新應用與商業(yè)模式

百度堅信云計算的本身不僅僅是IT資源新的使用方式,更重要的是要解決復雜異構性問題、構建創(chuàng)新業(yè)務與商業(yè)模式的基礎平臺,要IT商業(yè)的開源,而不僅僅是節(jié)流。

舉一個例子,一個云enable的新應用:“云打印”,傳統(tǒng)的方式就是PC上安裝打印機驅動程序,更換打印機又要重新安裝驅動,比較繁瑣。而“云打印”就像把文件直接當成電子郵件發(fā)送給打印機,打印機要像用戶的電腦一樣讀出文件、還原文件原本的格式,然后打印。用戶根本不用關心打印機型號,也沒必要安裝驅動程序。這其實就是一個解決了眾多用戶的異構問題,把適配工作放在云端完成。

正是基于這樣的考慮,百度云存儲正在努力建設一個大的生態(tài)系統(tǒng),讓更多的開發(fā)者基于云存儲開發(fā)新的應用,真正為用戶構建應用體驗。比如輕筆記就是一家基于百度云存儲的云筆記應用,可以實現(xiàn)跨終端同步的記事軟件,利用百度的平臺,開發(fā)者可以把精力專注在應用的創(chuàng)新方面,快速將服務推向市場。目前基于百度云的注冊開發(fā)者已經超過10萬,未來兩年將會有數(shù)千種創(chuàng)新應用推向市場。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯(lián)系方式  |  版權聲明  |  網站留言  |  RSS訂閱  |  違規(guī)舉報  |  開放轉載  |  滾動資訊  |  English Version