【51CTO.com原創(chuàng)稿件】最近,一個國際計算賽事Sort Benchmark引起了業(yè)界的極大關注。
而這次能引起討論和關注,是因為這次入榜登頂?shù)纳碛爸杏袃杉抑袊脑朴嬎惴丈獭?/p>
Sort Benchmark是什么?為什么最近引起關注?
Sort Benchmark發(fā)展經(jīng)歷了很長時間,隨著摩爾定律的不斷發(fā)展,集群計算調度算法的不斷發(fā)展,Sort Benchmark的排序方法也不斷發(fā)生變化,除了不斷變化的評比方法外,Sort Benchmark新增了基本原則,在Sort Benchmark的官網(wǎng)上,我們看到,2014年開始出現(xiàn)了CloudSort測試。
(上圖)騰訊云獲Graysort和Minutesort冠軍,南京大學、阿里云、Databricks組成的聯(lián)合參賽團隊獲Cloudsort冠軍
以上三種六項測試中,騰訊云的是Graysort和Minutesort,南京大學、阿里云、Databricks組成的參賽團隊獲得的是Cloudsort,因為騰訊云、阿里云的參與遂引發(fā)關注。
Graysort,Minutesort和Cloudsort分別指的是什么呢?
Graysort測的是排序大量數(shù)據(jù)(目前最小為100TB)時花費的時間,時間越短效率越高。
Cloudsort測的是排序一定數(shù)據(jù)量時花的成本最少,花的錢越少越好,其實就是性價比。
Minutesort測的是在60分鐘之內(nèi)排序的數(shù)據(jù)量,排的數(shù)據(jù)量越多越好。
各項測試分為兩種:Daytona和Indy,兩者的區(qū)別在于,前者是通用目的排序,后者要求是專用目的排序。這次榜單中恰巧兩項都是相同的,這種情況在以往也經(jīng)常能看見。
測試有個基本的原則是使用的都是商用化在市場上能買得到的東西,既有直接的硬件方案,也有基于租用的云主機做的方案,并且不能經(jīng)過任何修改,測試需要排序的數(shù)據(jù)都是由gensort record generator生成。
2014年百度獲得過冠軍獎項,2015年阿里云獲得Graysort和Minutesort兩種四項冠軍。2016年騰訊云將比賽記錄總體提升了2.8倍到5倍,今年南京大學、阿里云、Databricks聯(lián)合團隊獲得Cloudsort兩個子項的冠軍,拿到了AWS在2014年獲得的冠軍位置(AWS并沒有直接參與到這次測試,加州大學獨立參賽,使用AWS在售的虛擬機)。
Sort Benchmark比的是什么呢?
Sort Benchmark考量的是一家公司或機構大規(guī)模計算能力的綜合實力,不僅全面評測分布式系統(tǒng)軟件架構能力(如海量數(shù)據(jù)分布式存儲、計算任務切片調度、節(jié)點通信協(xié)調同步、數(shù)據(jù)計算監(jiān)控容災等性能),也評測了硬件架構能力(如服務器硬件選配、網(wǎng)絡架構調優(yōu)、IDC規(guī)劃建設能力等)。
從Sort Benchmark的官網(wǎng)可以看到,騰訊云采用IBM Power處理器,許多人印象中的IBM Power形象非常高大上,但從成本上來算,騰訊云方面表示由Power組成的整體配置的TCO成本,低于去年阿里云方案的成本
(上圖)騰訊云的配置
(上圖)阿里云去年的配置
去年阿里云的方案中采用3134+243一共3377多個節(jié)點,每個節(jié)點用兩路六核的E5-2630或者兩路八核的E5-2650 V2,單機性能與Power8系統(tǒng)相比有些差距,但與今年騰訊云使用的512節(jié)點10核POWER 8整體計算集群相比相差不是特別大。而且兩者都不是近期才更新的產(chǎn)品,Power8是2013年8月發(fā)布的,E5 2600 V2系列也是2013年發(fā)布的。
內(nèi)存總量方面阿里內(nèi)存總量較高;存儲IO方面,騰訊云用的是NVMe協(xié)議的SSD,阿里云用的是SATA磁盤,騰訊云有優(yōu)勢,但考慮到這里的計算本身可以由內(nèi)存完成,隨機讀寫的要求不高,優(yōu)勢也不是很明顯;網(wǎng)絡方面,騰訊云用的是Mellanox的100Gb高速互聯(lián)技術,雖然集群機器數(shù)少了6倍,這倒是有明顯優(yōu)勢。
整體看,512臺機器整體TCO與阿里云去年3377臺機器相比成本低,同時從內(nèi)存、磁盤、網(wǎng)絡等整體看與去年的差異不大。相比之下,騰訊云跑出的成績則高出了許多,其中98.8秒排完100TB的Indy Graysort項更是賺足了眼球。
這說明,騰訊云這次靠的不是高成本堆硬件,考驗的是在軟硬件的綜合實力,從架構到代碼,到硬件底層驅動都需要做優(yōu)化,強化調度能力,內(nèi)存利用率等。
另外值得注意的是CloudSort這一項,2014年AWS創(chuàng)造的排100TB數(shù)據(jù)花費451美金,而今年阿里云僅用144美金,兩年時間刷新了榜單記錄。不過就目前來看,使用當前的硬件價格與2年前的價格進行比較,其可比意義有待商榷。
Sort Benchmark測試能與實際應用相結合
Sort Benchmark的比賽規(guī)則要求所有的硬件都必須是商用硬件配置,意在讓測試與應用相結合,而不是簡簡單單的跑分測試。南京大學采用阿里云進行CloudSort測試用的都是公開售賣的云主機,可以被用戶使用。而騰訊云基于Power的方案在哪兒使用呢?
據(jù)了解,騰訊云基于Power的方案在內(nèi)部系統(tǒng)中也投入了實際使用。半年前OpenPower峰會上宣布要讓Power幫騰訊跑大數(shù)據(jù)應用,這次比賽表明Power在騰訊已經(jīng)落實。
騰訊云和阿里云在Sort Benchmark的參與,展示了國內(nèi)云服務商的計算能力,拿到了四種測試中三種的冠軍。未來還有一項測試等待挑戰(zhàn),那就是Sort Benchmark的Joule(焦耳),它測試的是排序一定量數(shù)據(jù)所消耗的功耗。目前該項測試冠軍由微軟把持,測試中使用的不是Linu而是Win8,畢竟有操作系統(tǒng)的廠商屬于特例。
(上圖)Sort Benchmark的Joule(焦耳)項目
【51CTO原創(chuàng)稿件,合作站點轉載請注明原文作者和出處為51CTO.com】
【責任編輯:朱朋博 TEL:(010)68476606】