在這個(gè)“無產(chǎn)業(yè)不AI,無應(yīng)用不AI,無芯片不AI”的時(shí)代,AI芯片作為人工智能時(shí)代的技術(shù)核心之一,決定了平臺(tái)的基礎(chǔ)架構(gòu)和發(fā)展生態(tài),在全球具有深不可測(cè)的市場(chǎng)規(guī)模。但是,目前國(guó)內(nèi)外都面臨一個(gè)共同的難題——缺乏統(tǒng)一的芯片評(píng)測(cè)標(biāo)準(zhǔn)。因此,打破AI芯片測(cè)評(píng)領(lǐng)域混亂無序的阻礙,對(duì)整個(gè)人工智能產(chǎn)業(yè)的發(fā)展而言至關(guān)重要。
11月1-2日,由中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟、杭州市人民政府主辦的“AIIA2019人工智能開發(fā)者大會(huì)(AIDC)暨第四屆中國(guó)(杭州)人工智能產(chǎn)業(yè)發(fā)展論壇”在杭州召開。借此業(yè)內(nèi)學(xué)術(shù)泰斗齊聚,百家名企同堂的難逢之機(jī),中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長(zhǎng)孫明俊在主報(bào)告會(huì)上重磅發(fā)布AIIA DNN benchmark v0.5 云側(cè)推斷任務(wù)基準(zhǔn)測(cè)試首輪試評(píng)估結(jié)果,引起巨大反響。
AIIA DNN benchmark項(xiàng)目是由中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟聯(lián)合20余家企業(yè)、高校及科研機(jī)構(gòu)深入研發(fā),傾情推出的AI芯片測(cè)評(píng)認(rèn)證工具,旨在提供專業(yè)評(píng)估評(píng)測(cè)服務(wù),助力AI芯片行業(yè)快速爆發(fā),引領(lǐng)人工智能行業(yè)飛躍發(fā)展。
中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長(zhǎng)孫明俊
中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長(zhǎng)孫明俊解讀道:“目前,我們已經(jīng)制定兩套評(píng)估規(guī)范,完成兩輪共7款端側(cè)評(píng)估,v0.5云側(cè)評(píng)估評(píng)測(cè)工作于今年7月啟動(dòng),經(jīng)過4個(gè)月的努力,完成了首輪的試評(píng)估工作。”這意味著AIIA DNN benchmark的端+云全方位基準(zhǔn)測(cè)試方案已經(jīng)形成,相應(yīng)網(wǎng)站也已全新上線(www.aiiaorg.cn/benchmark),將為人工智能行業(yè)帶來一番風(fēng)云變化。
下面,帶你解讀, AIIA DNN benchmark v0.5 云側(cè)推斷任務(wù)首輪試評(píng)估工作。報(bào)告全文(此處附超鏈接:https://mp.weixin.qq.com/s/36nYEUzrPbnx2UWWL26eQg)
亮點(diǎn)一:多角度全面助力評(píng)測(cè)行業(yè)發(fā)展
在深度學(xué)習(xí)模型的發(fā)展史中,殘差網(wǎng)絡(luò)因其簡(jiǎn)單而有效的結(jié)構(gòu)與異常有效的結(jié)果占據(jù)了非常重要的位置。隨著網(wǎng)絡(luò)結(jié)構(gòu)或模型的快速迭代,以及芯片工藝的不斷更新,ResNet50這個(gè)業(yè)界的黃金標(biāo)桿是否還能真正反映芯片能力?
AIIA DNN benchmark以更加貼近真實(shí)應(yīng)用場(chǎng)景的測(cè)評(píng)方式,打破了基準(zhǔn)測(cè)試單網(wǎng)絡(luò)單指標(biāo)刷榜的模式,可提供7種場(chǎng)景13種網(wǎng)絡(luò)測(cè)試,其所有指標(biāo)旨在提供準(zhǔn)確的比對(duì)維度,如實(shí)反映當(dāng)前提升深度學(xué)習(xí)處理能力的AI加速器的現(xiàn)狀。
亮點(diǎn)二:五大維度衡量芯片性能
中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟根據(jù)實(shí)際部署中所考慮的指標(biāo),經(jīng)過前期向20余家企業(yè)、科研機(jī)構(gòu)的相關(guān)專家進(jìn)行意見征集及展開專業(yè)討論,最終確定AIIA DNN benchmark v0.5版本云側(cè)推斷任務(wù)從以下五個(gè)維度出發(fā),衡量云側(cè)加速卡整體性能,可客觀反映當(dāng)前行業(yè)現(xiàn)狀。
延遲:作為推斷任務(wù)的重要指標(biāo),能夠直觀反映芯片處理任務(wù)的速度。
精度損失:在部署深度學(xué)習(xí)任務(wù)過程中,各家加速卡都有自己的推理框架以用于模型的轉(zhuǎn)換和部署,其顯示的精度損失可用于反映測(cè)試數(shù)據(jù)集推斷所達(dá)到的處理效果。
吞吐量:在實(shí)際深度學(xué)習(xí)推理任務(wù)部署中,多batch的處理能力尤為重要。
功耗:芯片的晶體管數(shù)量和芯片面積決定了算力,面積越大,算力越強(qiáng),但功耗也將隨之增加,可作為推斷芯片性能的指標(biāo)之一。
能效比(每瓦算力):算力與能耗往往相互制約,該方案可測(cè)算AI芯片能耗比,反饋給企業(yè)及時(shí)改良,助其進(jìn)一步實(shí)現(xiàn)高性能與低功耗、低延遲、低成本之間的平衡。
亮點(diǎn)三:“芯”能力榜單助力企業(yè)宣傳
在缺乏評(píng)估標(biāo)準(zhǔn)的情況下,芯片企業(yè)無法清晰確認(rèn)自己的技術(shù)優(yōu)勢(shì)及目標(biāo)市場(chǎng)。同時(shí),由于場(chǎng)景與部署位置的差異性,很難用單一指標(biāo)與網(wǎng)絡(luò)展現(xiàn)芯片性能,導(dǎo)致市場(chǎng)也對(duì)芯片企業(yè)的真正實(shí)力難以判斷。
AIIA DNN benchmark推出多維度評(píng)測(cè)方式為芯片企業(yè)提供第三方評(píng)測(cè)結(jié)果,能從不同角度呈現(xiàn)不同芯片的各自優(yōu)勢(shì)所在,切實(shí)反映芯片能力。該項(xiàng)目還提供了單項(xiàng)與總分榜,支持企業(yè)前來參與“打榜”,積極展示自身獨(dú)特的“芯”能力,成功上榜的企業(yè)可在業(yè)內(nèi)獲得更加廣泛的知名度和市場(chǎng)信任感。
亮點(diǎn)四:用戶選型一目了然
人工智能在不同算法、不同場(chǎng)景下,對(duì)芯片提出了不同的要求,如硬件架構(gòu)、延遲、帶寬、能耗、神經(jīng)網(wǎng)絡(luò)模型、參數(shù)等都是用戶方選擇AI芯片的重要參考。
中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟作為專業(yè)的第三方,首次公布了典型AI芯片在處理深度學(xué)習(xí)任務(wù)時(shí)的參考指標(biāo)——“算力/單價(jià)”比,為應(yīng)用企業(yè)選型提供參考,以便用戶能更經(jīng)濟(jì)地選取最適用于自己需求的AI芯片。
AIIA DNN benchmark,用純粹的科研之心,讓科技之“芯”更美好。該項(xiàng)目的發(fā)布,促進(jìn)了芯片供給側(cè)與需求側(cè)的交流,讓需求方的意見能夠更快傳達(dá)到芯片企業(yè),讓企業(yè)進(jìn)行有針對(duì)性的改良。同時(shí),AIIA DNN benchmark堅(jiān)持以“版本迭代、不斷豐富、不斷完善”的工作方式持續(xù)更新項(xiàng)目,計(jì)劃下一步啟動(dòng)第二輪評(píng)估工作,迭代AIIA DNN benchmark V1.0,積極推進(jìn)企業(yè)“芯”能力榜單的評(píng)選,努力打造一個(gè)開放、共贏的人工智能產(chǎn)業(yè)生態(tài),拓寬人工智能行業(yè)從業(yè)者的交流接口,推動(dòng)中國(guó)AI芯片市場(chǎng)進(jìn)一步發(fā)展與成熟,以傲人之姿屹立世界前沿科技之林。
