Sort Benchmark是不是跑分測試？騰訊云奪冠的配置是否有實際應用？

【51CTO.com原創(chuàng)稿件】最近，一個國際計算賽事Sort Benchmark引起了業(yè)界的極大關注。

而這次能引起討論和關注，是因為這次入榜登頂?shù)纳碛爸杏袃杉抑袊脑朴嬎惴丈獭?/p>

Sort Benchmark是什么？為什么最近引起關注？

Sort Benchmark發(fā)展經(jīng)歷了很長時間，隨著摩爾定律的不斷發(fā)展，集群計算調度算法的不斷發(fā)展，Sort Benchmark的排序方法也不斷發(fā)生變化，除了不斷變化的評比方法外，Sort Benchmark新增了基本原則，在Sort Benchmark的官網(wǎng)上，我們看到，2014年開始出現(xiàn)了CloudSort測試。

以上三種六項測試中，騰訊云的是Graysort和Minutesort，南京大學、阿里云、Databricks組成的參賽團隊獲得的是Cloudsort，因為騰訊云、阿里云的參與遂引發(fā)關注。

Graysort，Minutesort和Cloudsort分別指的是什么呢?

Graysort測的是排序大量數(shù)據(jù)(目前最小為100TB)時花費的時間，時間越短效率越高。

Cloudsort測的是排序一定數(shù)據(jù)量時花的成本最少，花的錢越少越好，其實就是性價比。

Minutesort測的是在60分鐘之內(nèi)排序的數(shù)據(jù)量，排的數(shù)據(jù)量越多越好。

各項測試分為兩種：Daytona和Indy，兩者的區(qū)別在于，前者是通用目的排序，后者要求是專用目的排序。這次榜單中恰巧兩項都是相同的，這種情況在以往也經(jīng)常能看見。

測試有個基本的原則是使用的都是商用化在市場上能買得到的東西，既有直接的硬件方案，也有基于租用的云主機做的方案，并且不能經(jīng)過任何修改，測試需要排序的數(shù)據(jù)都是由gensort record generator生成。

2014年百度獲得過冠軍獎項，2015年阿里云獲得Graysort和Minutesort兩種四項冠軍。2016年騰訊云將比賽記錄總體提升了2.8倍到5倍，今年南京大學、阿里云、Databricks聯(lián)合團隊獲得Cloudsort兩個子項的冠軍，拿到了AWS在2014年獲得的冠軍位置(AWS并沒有直接參與到這次測試，加州大學獨立參賽，使用AWS在售的虛擬機)。

Sort Benchmark比的是什么呢？

Sort Benchmark考量的是一家公司或機構大規(guī)模計算能力的綜合實力，不僅全面評測分布式系統(tǒng)軟件架構能力(如海量數(shù)據(jù)分布式存儲、計算任務切片調度、節(jié)點通信協(xié)調同步、數(shù)據(jù)計算監(jiān)控容災等性能)，也評測了硬件架構能力(如服務器硬件選配、網(wǎng)絡架構調優(yōu)、IDC規(guī)劃建設能力等)。

從Sort Benchmark的官網(wǎng)可以看到，騰訊云采用IBM Power處理器，許多人印象中的IBM Power形象非常高大上，但從成本上來算，騰訊云方面表示由Power組成的整體配置的TCO成本，低于去年阿里云方案的成本

去年阿里云的方案中采用3134+243一共3377多個節(jié)點，每個節(jié)點用兩路六核的E5-2630或者兩路八核的E5-2650 V2，單機性能與Power8系統(tǒng)相比有些差距，但與今年騰訊云使用的512節(jié)點10核POWER 8整體計算集群相比相差不是特別大。而且兩者都不是近期才更新的產(chǎn)品，Power8是2013年8月發(fā)布的，E5 2600 V2系列也是2013年發(fā)布的。

內(nèi)存總量方面阿里內(nèi)存總量較高;存儲IO方面，騰訊云用的是NVMe協(xié)議的SSD，阿里云用的是SATA磁盤，騰訊云有優(yōu)勢，但考慮到這里的計算本身可以由內(nèi)存完成,隨機讀寫的要求不高，優(yōu)勢也不是很明顯;網(wǎng)絡方面，騰訊云用的是Mellanox的100Gb高速互聯(lián)技術，雖然集群機器數(shù)少了6倍，這倒是有明顯優(yōu)勢。

整體看，512臺機器整體TCO與阿里云去年3377臺機器相比成本低，同時從內(nèi)存、磁盤、網(wǎng)絡等整體看與去年的差異不大。相比之下，騰訊云跑出的成績則高出了許多，其中98.8秒排完100TB的Indy Graysort項更是賺足了眼球。

這說明，騰訊云這次靠的不是高成本堆硬件，考驗的是在軟硬件的綜合實力，從架構到代碼，到硬件底層驅動都需要做優(yōu)化，強化調度能力，內(nèi)存利用率等。

另外值得注意的是CloudSort這一項，2014年AWS創(chuàng)造的排100TB數(shù)據(jù)花費451美金，而今年阿里云僅用144美金，兩年時間刷新了榜單記錄。不過就目前來看，使用當前的硬件價格與2年前的價格進行比較，其可比意義有待商榷。

Sort Benchmark測試能與實際應用相結合

Sort Benchmark的比賽規(guī)則要求所有的硬件都必須是商用硬件配置，意在讓測試與應用相結合，而不是簡簡單單的跑分測試。南京大學采用阿里云進行CloudSort測試用的都是公開售賣的云主機，可以被用戶使用。而騰訊云基于Power的方案在哪兒使用呢?

據(jù)了解，騰訊云基于Power的方案在內(nèi)部系統(tǒng)中也投入了實際使用。半年前OpenPower峰會上宣布要讓Power幫騰訊跑大數(shù)據(jù)應用，這次比賽表明Power在騰訊已經(jīng)落實。

騰訊云和阿里云在Sort Benchmark的參與，展示了國內(nèi)云服務商的計算能力，拿到了四種測試中三種的冠軍。未來還有一項測試等待挑戰(zhàn)，那就是Sort Benchmark的Joule(焦耳)，它測試的是排序一定量數(shù)據(jù)所消耗的功耗。目前該項測試冠軍由微軟把持，測試中使用的不是Linu而是Win8，畢竟有操作系統(tǒng)的廠商屬于特例。

【51CTO原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為51CTO.com】

【責任編輯：朱朋博 TEL：(010)68476606】