麒麟 970 真的是當(dāng)前最強(qiáng)手機(jī) AI 芯片嗎?至少蘇黎世聯(lián)邦理工學(xué)院的研究人員是這樣認(rèn)為的，在他們開(kāi)發(fā)的 AI Benchmark 應(yīng)用中，搭載麒麟芯片的華為 P20 Pro 的神經(jīng)網(wǎng)絡(luò)處理性能第一，比第二名一加 6 手機(jī)(搭載高通驍龍 845)的 3.4 倍還多。這款 APP 目前已經(jīng)在 Google Play Store 上線(xiàn)，任何人都可以用來(lái)測(cè)試自己的手機(jī)「是否準(zhǔn)備好進(jìn)入 AI 時(shí)代了」。
APP 鏈接：https://play.google.com/store/apps/details?id=org.benchmark.demo
官網(wǎng)地址：http://ai-benchmark.com/tests.html
高通、華為、聯(lián)發(fā)科有什么共通點(diǎn)?這三家廠商都做加速手機(jī)、平板等移動(dòng)設(shè)備中計(jì)算機(jī)視覺(jué)、NLP 以及其他機(jī)器學(xué)習(xí)任務(wù)的硬件架構(gòu)。然而，這存在一個(gè)問(wèn)題，即開(kāi)發(fā)者難以判斷哪家的芯片對(duì)特定平臺(tái)的算法優(yōu)化較好。于是，來(lái)自 ETH Zurich(蘇黎世聯(lián)邦理工學(xué)院)的研究員開(kāi)發(fā)了一個(gè)名為 AI Benchmark 的 APP，可用于測(cè)試手機(jī)上機(jī)器學(xué)習(xí)算法的表現(xiàn)。
不過(guò)，目前這款 APP 只適用于安卓手機(jī)。
AI Benchmark APP
據(jù)國(guó)外媒體 TechCruch 報(bào)道，ETH Zurich 的研究人員開(kāi)發(fā)了一個(gè)基準(zhǔn)系統(tǒng)來(lái)評(píng)估用于常見(jiàn) AI 任務(wù)的眾多神經(jīng)網(wǎng)絡(luò)架構(gòu)。他們希望通過(guò)這種方式幫助 AI 研究員、芯片廠商以及安卓開(kāi)發(fā)者，來(lái)測(cè)試 AI 模型在不同設(shè)備上運(yùn)行時(shí)的表現(xiàn)。
「因?yàn)闆](méi)有相關(guān)信息(指算法表現(xiàn)的信息。除了一些內(nèi)建 APP 的 AI 算法融合到了手機(jī)固件，當(dāng)前所有的 AI 算法都在服務(wù)器上遠(yuǎn)程運(yùn)行)，所以我們想要開(kāi)發(fā)一種工具清晰展示每種設(shè)備的表現(xiàn)與能力。」研究員 Andrey Ignatov 在接受 TechCrunch 專(zhuān)訪時(shí)表示。
AI Benchmark APP 運(yùn)行計(jì)算機(jī)視覺(jué)任務(wù)時(shí)的測(cè)試，圖片：Kyle Wiggers/Venture Beat
當(dāng)前手機(jī) AI 性能排行榜
AI Benchmark APP 能評(píng)估智能手機(jī)在一系列開(kāi)源算法中的性能，這些算法執(zhí)行圖像分類(lèi)、人臉識(shí)別、圖像超分辨率以及圖像增強(qiáng)、分割以及去模糊的任務(wù)。AI Benchmark 甚至還可以測(cè)試無(wú)人駕駛汽車(chē)中使用的神經(jīng)網(wǎng)絡(luò)的性能，研究人員預(yù)測(cè)，這種神經(jīng)網(wǎng)絡(luò)最終可能會(huì)運(yùn)行在與智能手機(jī)芯片類(lèi)似的芯片上。
在手機(jī)上打開(kāi)該 APP，它會(huì)產(chǎn)生算法輸出的可視化效果，并給出一個(gè)影響芯片系統(tǒng)和 RAM 速度的分?jǐn)?shù)。(一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)越大，處理它所需的內(nèi)存就越多。)
AI Benchmark 自己測(cè)試并列出了一個(gè)排行榜，華為 P20 Pro 以 6397 的得分高居榜首，第二名得分為 1875。
1. 華為 P20 Pro – 6397
2. 一加 6 – 1875
3. 索尼 Xperia XZ2 – 1664
4. 三星 Galaxy S9+ – 1494
5. 雷蛇 Razer Phone – 1470
6. 三星 Galaxy S9 – 1446
7. 一加 5T – 1440
8. 一加 5 – 1416
9. 三星 Galaxy Note 8 – 1408
10. 小米 Mi Mix 2 – 1405
在該工具的官網(wǎng)上，目前排名前 15 的手機(jī)型號(hào)。
機(jī)器之心小編也下載了 AI Benchmark，在平均長(zhǎng)達(dá) 5 分鐘、所有 9 項(xiàng)測(cè)試結(jié)束之后(需耗去 4% 的電量)，我們使用的國(guó)行版三星 S9 手機(jī)拿到了 1594 分，這個(gè)分?jǐn)?shù)在高通驍龍 845 芯片的手機(jī)里還算不錯(cuò)，也超過(guò)了官方排行榜中該型號(hào)手機(jī)原來(lái)的分?jǐn)?shù)，或許是固件更新的功勞?
搭載麒麟 970 芯片的華為 P20 Pro 分?jǐn)?shù)達(dá)到了 4573，不及排行榜上的分?jǐn)?shù)(我們的測(cè)試機(jī)未更新到最新版本系統(tǒng))。
我們也測(cè)試了搭載驍龍 835 的「谷歌官方機(jī)」Pixel 2 的跑分：1210。
我們的測(cè)試分?jǐn)?shù)，從左至右：華為 P20 Pro、三星 S9、Pixel 2。
那么針對(duì)這些旗艦機(jī)型的對(duì)比結(jié)果如何呢?Ignatov 將團(tuán)隊(duì)的初步成果總結(jié)為「有趣且荒誕」。
Ignatov 稱(chēng)，高通芯片可以加速那些并不兼容所有安卓版本的量化或壓縮神經(jīng)網(wǎng)絡(luò)。不使用高通驍龍軟件開(kāi)發(fā)的典型網(wǎng)絡(luò)無(wú)法利用其 Hexagon DSP AI 加速芯片，盡管 Ignatov 注意到如果實(shí)現(xiàn)「恰當(dāng)驅(qū)動(dòng)」，此類(lèi)網(wǎng)絡(luò)可以從中受益。
「如果你正在研發(fā)一款使用 AI 能力的 app，那么你在驍龍 SoC 上無(wú)法獲得任何加速，除非你研發(fā)的 app 只為驍龍?zhí)幚砥鞣?wù)?！笽gnatov 稱(chēng)。
另一方面，華為的麒麟芯片性能強(qiáng)大——可以提供近 10 倍的神經(jīng)網(wǎng)絡(luò)加速，但是這與量化的神經(jīng)網(wǎng)絡(luò)并不兼容。華為稱(chēng)今年麒麟芯片將支持量化神經(jīng)網(wǎng)絡(luò)。(Ignatov 注意到華為 P20 和 P20 Pro 是市面上唯一運(yùn)行 Android 8.1 Oreo 為應(yīng)用程序提供人工智能加速的手機(jī)。)
至于三星的 Exynos 處理器和聯(lián)發(fā)科的 NeuroPilot AI 平臺(tái)，評(píng)測(cè)結(jié)果就有點(diǎn)參差不齊了。
三星自有的處理器只支持 Android 8.1 及以上版本的 AI 加速，且由于功耗優(yōu)化和調(diào)節(jié)(power throttling)，其性能變化「很大」，有時(shí)甚至高達(dá) 50%。
同時(shí)，聯(lián)發(fā)科的芯片組——那些同時(shí)支持量化神經(jīng)網(wǎng)絡(luò)和普通神經(jīng)網(wǎng)絡(luò)的型號(hào)，性能稍稍弱于三星和華為的硬件。
「總之，驍龍理論上可以提供優(yōu)秀的結(jié)果，但是缺乏強(qiáng)勁的驅(qū)動(dòng);華為現(xiàn)在的結(jié)果比較突出，且不久的未來(lái)可能是最好的;三星目前不支持加速(這種情況可能很快就會(huì)改變，因?yàn)槿悄壳罢谘邪l(fā)自己的 AI 芯片)，但是 CPU 很強(qiáng)大;聯(lián)發(fā)科在中端設(shè)備上效果較好，但沒(méi)有什么突破?！笽gnatov 稱(chēng)。
AI Benchmark 是如何測(cè)試手機(jī)AI性能的
據(jù)官網(wǎng)介紹，該 benchmark 包含 9 個(gè)在手機(jī)上運(yùn)行獨(dú)立神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)任務(wù)。這些網(wǎng)絡(luò)包含大量架構(gòu)，能讓我們?cè)u(píng)估解決人工智能問(wèn)題的不同方法的表現(xiàn)和局限性。
任務(wù) 1：目標(biāo)識(shí)別/分類(lèi)
神經(jīng)網(wǎng)絡(luò)：MobileNet - V1 | CPU, NPU, DSP
圖像分辨率：224 x 224 px
ImageNet 準(zhǔn)確率：69.7%。
這是一個(gè)非?；A(chǔ)但很強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，能夠基于一張照片識(shí)別 1000 個(gè)不同的對(duì)象類(lèi)別，準(zhǔn)確率約為 70%。經(jīng)過(guò)量化，其大小可小于 5Mb，再加上低耗內(nèi)存，它可在幾乎所有現(xiàn)有智能手機(jī)上使用。
任務(wù) 2：目標(biāo)識(shí)別/分類(lèi)
神經(jīng)網(wǎng)絡(luò)：Inception - V3 | CPU, NPU, DSP
圖像分辨率：346 x 346 px
ImageNet 準(zhǔn)確率：78.0 %
這是對(duì)上一個(gè)網(wǎng)絡(luò)的進(jìn)一步擴(kuò)展：更加精確，但代價(jià)是規(guī)模是原來(lái)的 4 倍且對(duì)計(jì)算的要求較高。一個(gè)明顯的優(yōu)勢(shì)是——它可以處理分辨率更高的圖像，這意味著更精確的識(shí)別和更小目標(biāo)的檢測(cè)。
任務(wù) 3：人臉識(shí)別
神經(jīng)網(wǎng)絡(luò)：Inception - Resnet - V1 |CPU
圖像分辨率：512x512 px
LFW 得分：0.987
這個(gè)任務(wù)無(wú)需過(guò)多介紹：根據(jù)人臉照片識(shí)別出這個(gè)人。實(shí)現(xiàn)方式如下：對(duì)于每個(gè)人臉圖像，神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)人臉編碼并生成一個(gè) 128 維的特征向量，該特征向量不隨縮放、移動(dòng)或旋轉(zhuǎn)而改變。然后，在數(shù)據(jù)庫(kù)中檢索和此向量最匹配的特征向量(以及對(duì)應(yīng)的身份)，數(shù)據(jù)庫(kù)里包含數(shù)億個(gè)此類(lèi)信息。
任務(wù) 4：圖像去模糊
神經(jīng)網(wǎng)絡(luò)：SRCNN 9-5-5 | CPU, NPU, DSP
圖像分辨率：300 x 300 px
Set-5 得分 (x3)：32.75 dB
還記得用手機(jī)拍出的模糊照片嗎?這個(gè)任務(wù)就是：讓圖片變得清晰。在最簡(jiǎn)單的情況下，這種失真是通過(guò)對(duì)未損壞的圖像應(yīng)用高斯模糊來(lái)建模的，然后嘗試使用神經(jīng)網(wǎng)絡(luò)來(lái)恢復(fù)它們。在這個(gè)任務(wù)中，模糊是通過(guò)一種最原始、最簡(jiǎn)單、最輕量級(jí)的神經(jīng)網(wǎng)絡(luò) SRCNN(只有 3 個(gè)卷積層)去除的。但是即便如此，它仍然顯示出相當(dāng)令人滿(mǎn)意的結(jié)果。
任務(wù) 5：圖像超分辨率
神經(jīng)網(wǎng)絡(luò)：VGG - 19 | CPU, NPU, DSP
圖像分辨率：192 x 192 px
Set-5 得分 (x3)：33.66 dB
你有過(guò)縮放照片的經(jīng)歷嗎?縮放時(shí)是不是會(huì)有失真、細(xì)節(jié)丟失或清晰度下降的問(wèn)題?這項(xiàng)任務(wù)就是讓縮放過(guò)的照片看起來(lái)和原圖一樣。在本任務(wù)中，網(wǎng)絡(luò)被訓(xùn)練用于完成一項(xiàng)等效的任務(wù)：將給定的縮小后圖像(如縮小四倍)恢復(fù)至原圖。此處我們使用一個(gè) 19 層的 VGG-19 網(wǎng)絡(luò)。盡管目前來(lái)看，該網(wǎng)絡(luò)的表現(xiàn)并不驚艷，也不能重建高頻部分，但它對(duì)于繪畫(huà)仍是理想的解決方案：該網(wǎng)絡(luò)可以讓圖像變得更加清晰、平滑。
任務(wù) 6：圖像超分辨率
神經(jīng)網(wǎng)絡(luò)：SRGAN | 僅 CPU
圖像分辨率：512 x 512 px
Set-5 得分(x4)：29.40 dB
任務(wù)同上，但完成方法略有不同：如果我們使用其他神經(jīng)網(wǎng)絡(luò)訓(xùn)練我們的神經(jīng)網(wǎng)絡(luò)會(huì)如何?我們安排兩個(gè)網(wǎng)絡(luò)去完成兩個(gè)不同的任務(wù)：網(wǎng)絡(luò) A 嘗試解決上面提到的超分辨率問(wèn)題，網(wǎng)絡(luò) B 觀察其結(jié)果，嘗試找到其中的缺陷并懲罰網(wǎng)絡(luò) A。聽(tīng)起來(lái)是不是很酷?實(shí)際上真的很酷：盡管該方法不盡完美，但結(jié)果往往非常驚艷。
任務(wù) 7：語(yǔ)義圖像分割
神經(jīng)網(wǎng)絡(luò)：ICNet | 僅 CPU
圖像分辨率：384 x 576 px
CityScapes (mIoU)：69.5 %
有沒(méi)有想過(guò)在手機(jī)上運(yùn)行自動(dòng)駕駛算法?這沒(méi)什么不可能，至少你可以完成一大部分任務(wù)——根據(jù)車(chē)載攝像頭拍攝的照片檢測(cè) 19 類(lèi)目標(biāo)(例如，車(chē)、行人、路、天空等)。在下圖中，你可以看到最近專(zhuān)為低性能設(shè)備設(shè)計(jì)的 ICNet 網(wǎng)絡(luò)的像素級(jí)分割結(jié)果(每個(gè)顏色對(duì)應(yīng)每個(gè)目標(biāo)類(lèi)別)。
任務(wù) 8：圖像增強(qiáng)
神經(jīng)網(wǎng)絡(luò)：ResNet - 12 | CPU, NPU, DSP
圖像分辨率：128 x 192 px
DPED PSNR i-得分：18.11 dB
看舊手機(jī)上的照片是不是覺(jué)得很難受?這個(gè)問(wèn)題可以解決：經(jīng)過(guò)恰當(dāng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以讓舊手機(jī)(即使是 iPhone 3GS)上的照片看起來(lái)非常好、非常時(shí)髦。要做到這一點(diǎn)，網(wǎng)絡(luò)要觀察、學(xué)習(xí)如何將來(lái)自低端設(shè)備的照片優(yōu)化成像用 DSLR 相機(jī)拍出來(lái)的一樣。當(dāng)然，這一奇跡有一些明顯的缺陷(如：每次換新手機(jī)模型都要重新訓(xùn)練網(wǎng)絡(luò))，但得到的圖像看起來(lái)非常好，尤其是舊設(shè)備上的照片。
任務(wù) 9：內(nèi)存極限
神經(jīng)網(wǎng)絡(luò)：SRCNN 9-5-5 | CPU, NPU, DSP
圖像分辨率：4 MP
# 參數(shù)：69.162
在任務(wù) 4 中我們已經(jīng)認(rèn)識(shí)了 SRCNN，它是最輕便、簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)之一，但即便如此，在處理高分辨率照片時(shí)，它也會(huì)讓大多數(shù)手機(jī)「給跪」：要處理高清照片，手機(jī)至少要有 6GB 的內(nèi)存。這項(xiàng)測(cè)試的目的是找到你設(shè)備的極限：這個(gè)最簡(jiǎn)易的網(wǎng)絡(luò)到底能處理多大的圖像?
最后，你可以去谷歌商店下載此APP測(cè)試下自己手機(jī)運(yùn)行神經(jīng)網(wǎng)絡(luò)的能力，不服跑個(gè)分?
參考鏈接：https://venturebeat.com/2018/07/25/ai-benchmark-rates-smartphones-neural-network-performance/
