在移動AI這條道路的探索上，高通既是啟蒙者，又是見證者。
無論是小米澎湃OS、OriginOS 4還是ColorOS 14，如果你關(guān)注過最近這段時間國內(nèi)主流手機(jī)品牌集中發(fā)布的新版系統(tǒng)，會發(fā)現(xiàn)AI已經(jīng)成為發(fā)布會PPT上“躲不開，繞不過”的關(guān)鍵詞，而且屬于提及頻率最高的那一檔。實(shí)際上，這還不是最“過分”的，在今年Google I/O大會上以劈柴哥Sundar Pichai為代表的一眾高管，在短短的2個小時主題演講中就提及了超過140次AI，頻率高達(dá)平均1.17次/分鐘，在官網(wǎng)上，Google甚至將新一代Pixel 8系列言簡意賅地稱為“由Google AI與最好的Pixel相機(jī)打造的最強(qiáng)大、最貼心的Pixel手機(jī)”。
突然間，屬于智能手機(jī)的移動AI時代到來了。
當(dāng)然如果細(xì)究的話，今年手機(jī)廠商們口中的“AI”與往年消費(fèi)者偶爾聽到或者在相機(jī)界面里看到的那些“AI”還不太一樣，今年的AI專指“AI大模型”這個隨ChatGPT火到已經(jīng)泛濫的概念，是一種基于生成式AI技術(shù)的大語言/大視覺模型，主要用于圖文相關(guān)的自然語義理解、處理乃至于創(chuàng)作生成——即與AI大模型概念同樣大熱的AIGC概念。換句話說，這陣AI風(fēng)潮本質(zhì)上是手機(jī)廠商集中落地AI大模型所引起的市場“躁動”，而點(diǎn)燃這份躁動的正是以第三代驍龍8為代表的新一代移動SoC平臺，它們?yōu)锳I大模型落地移動端掃清了最為關(guān)鍵的一道硬件障礙，也填上了移動設(shè)備真正邁入AI時代最后一塊拼圖。
從看照片到大模型 移動AI的演進(jìn)之路
盡管許多消費(fèi)者今年才對移動端的AI有所耳聞，但其實(shí)AI在移動端的應(yīng)用探索已經(jīng)持續(xù)了很多年，以高通為例，早在十年前也就是2013年就推出了名聲大噪的AI芯片Zeroth和SNN架構(gòu)——彼時高通也同步提出了神經(jīng)處理單元(NPU)的概念，2014年高通進(jìn)一步收購了AI圖像識別技術(shù)公司Euvision進(jìn)一步探索AI在移動端的潛在用例，并在隨后將源于Zeroth的AI加速架構(gòu)引入了2015年推出的驍龍820移動平臺的設(shè)計(jì)之中，以此奠定了驍龍系列高通AI引擎的基礎(chǔ)，高通內(nèi)部也將驍龍820視為搭載高通“第一代AI引擎”的移動平臺。不過彼時移動SoC市場還未流行AI的說法，高通也未進(jìn)行過這方面的宣傳，所以這就造成了當(dāng)2018年NPU概念興起之后，許多消費(fèi)者產(chǎn)生了此時高通才在移動AI賽道上發(fā)力的“錯覺”，但實(shí)際上，高通早在2007年就啟動了首個AI研究項(xiàng)目，掐指一算，從懵懂獨(dú)行到行合趨同，高通在AI上探索已經(jīng)歷經(jīng)十七載，基本完整覆蓋了整個智能手機(jī)發(fā)展史。
所以，在移動AI這條道路上，高通既是啟蒙者，又是見證者。
說到這里，我們也可以從AI這一概念在移動端的經(jīng)歷窺知移動AI發(fā)展之路上最大的阻礙——缺乏用例。相信不少消費(fèi)者在2019年前后通過NPU的大名，或者沖著看似相當(dāng)美好的AI宣傳入手了新機(jī)，但在系統(tǒng)中卻難以發(fā)現(xiàn)AI存在的蹤跡，印象中還有廠商趁著當(dāng)時歌曲《卡路里》的熱度絞盡腦汁推出了類似“識食物得卡路里”的比較尷尬的AI功能，這也導(dǎo)致當(dāng)初諸多探索的AI功能中，似乎只有相機(jī)的AI場景識別留存至今。行業(yè)最初在移動AI用例上的探索主要集中在機(jī)器視覺與圖像識別，但也正因如此導(dǎo)致曲高寡，以至于無法貼近用戶日常生活而一直不得要領(lǐng)。
但以ChatGPT為代表的生成式AI帶來了顛覆性的變革，讓行業(yè)看到了AI大模型所蘊(yùn)含的潛力。AI大模型其中的AI指代的自然是人工智能，而這個人工智能則是由深度學(xué)習(xí)算法和人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練而出的;大模型則是大語言模型，之所以被稱為“大”模型，是因?yàn)檫@類模型參數(shù)規(guī)模經(jīng)常數(shù)以億計(jì)，而語言模型就是通過大量參數(shù)預(yù)訓(xùn)練的自然語言處理模型，以生成式AI實(shí)現(xiàn)文字的生成、總結(jié)、改寫、搜索、回答、聚類、分類等復(fù)雜目標(biāo)。簡單來說，AI大模型就像《猩球崛起》中給予凱撒智力的“ALZ-112”一樣，有著賦予機(jī)器自然語義理解——也就是聽懂人話的能力，當(dāng)一臺可以連接互聯(lián)網(wǎng)的手機(jī)能聽懂對話與你交流的時候……它的能力上限大多時間只會與產(chǎn)品經(jīng)理的想象力邊界掛鉤了，這時如何將“大”模型裝進(jìn)用戶的“小”手機(jī)中，就成為AI賦能移動端最大的阻礙，而第三代驍龍8移動平臺正是為此而來。
第三代驍龍8 啟幕2024移動AI元年
目前將AI大模型“塞入”移動端目前的主流做法是云側(cè)大模型，即用戶輸入通過云端模型處理后返回結(jié)果，優(yōu)點(diǎn)是對輸入硬件并無要求，也可以利用參數(shù)量級較大的模型，ChatGPT、文心一言、Stable Diffusion等一眾知名大模型的to C接口均基于此。但云側(cè)大模型會有2個問題，一是全程基于網(wǎng)絡(luò)最終效果受限于用戶的連接狀況，這對于主打?qū)υ捙c理解場景的AI大模型而言是一個相當(dāng)大的不穩(wěn)定因素，二是不利于用戶隱私安全，數(shù)據(jù)上云本身就是用戶十分抗拒的事情，如果加以限制又會阻止AI理解用戶，缺乏個性化。最簡單的一個例子就是你可以讓云側(cè)大模型為你推薦全球米其林榜單，但卻無法在不上傳位置信息的情況下推薦離自己最近的高評分餐廳。
被形容為“外置器官”的智能手機(jī)本身就是用戶個人的一部分，如果讓這個“器官”變?yōu)椤按竽X”，前途不可限量。也正因如此，端側(cè)AI大模型的需求呼之欲出，甚至被視為有可能最先“引爆”這一輪AI大模型的殺手級場景?；谶@些考量，高通在2023服貿(mào)會上發(fā)布了《混合AI是AI的未來》白皮書，提出了混合AI的概念——即云端結(jié)合，移動端在接入云側(cè)大模型的同時，也有必要具備終端側(cè)運(yùn)行大模型的能力，這樣才能分利用手機(jī)上的全部數(shù)據(jù)，借助用戶個人數(shù)據(jù)持續(xù)微調(diào)這類神經(jīng)網(wǎng)絡(luò)，能夠帶來更深入的意圖理解和更加個性化的復(fù)雜場景服務(wù)。也就是說，云側(cè)大模型的通識能力要有，端側(cè)大模型的個性化能力也要有，這樣才稱得上是健全。
而第三代驍龍8移動平臺正是新一代移動SoC端側(cè)AI大模型的領(lǐng)導(dǎo)者之一。高通多年來一直在探索生成式AI，不僅在年初就演示了首次在Android設(shè)備上跑通Stable Diffusion，生成AI圖像用時僅15秒，在2023驍龍峰會上，這個時間被進(jìn)一步壓縮至0.6秒內(nèi)——低到了一個很不可思議的數(shù)量級。這不僅是同類產(chǎn)品中是最快，甚至也可以嵌入相機(jī)應(yīng)用無縫使用中，高通觀察到用戶拍攝間等待閾值為1-2秒，如果運(yùn)行一次模型需要15秒就失去了實(shí)用價值，但如果以0.6秒就可以實(shí)現(xiàn)一次運(yùn)行，就可以讓用戶真正地?zé)o成本地去使用它。
之所以能實(shí)現(xiàn)如此迅速的生成速度，一方面是因?yàn)榈谌旪?搭載的全新AI引擎實(shí)現(xiàn)了性能與能效飛躍，搭載了史上最快的高通Hexagon NPU，比上一代推理速度快98%，每瓦特性能提升40%，支持大模型參數(shù)規(guī)格從年初的10億量級暴增10倍至100億，可以以20個Token/s的速度進(jìn)行AI大模型的生成。高通傳感器中樞也引入了下一代微型NPU，將AI性能提升至前代的3.5倍，內(nèi)存提升30%，在第三代驍龍8的加持下接入大語言模型的AI助手能夠與高通傳感器中樞協(xié)同工作，利用位置和活動數(shù)據(jù)等信息，結(jié)合情境提供個性化的回答。
第三代驍龍8之所能提供終端側(cè)運(yùn)行AI大模型的能力，除了本身就極為強(qiáng)悍的AI能力之外，還得益于高通對端側(cè)AI大模型發(fā)展的觀察、理解與深度參與，一方面是因?yàn)槟Ｐ妥兊糜鷣碛?，比如高通發(fā)現(xiàn)擁有130億參數(shù)的meta Llama 2模型的表現(xiàn)其實(shí)并不遜色于擁有1750億參數(shù)的ChatGPT-3模型，這也意味著強(qiáng)大的生成式AI模型正不斷縮小;另一方面高通一直在利用INT4模型進(jìn)行數(shù)據(jù)推理，通過INT模型進(jìn)行量化是因?yàn)樗牧炕Ч托氏啾瘸Ｒ姷母↑c(diǎn)模型更出色，將擁有70億參數(shù)的模型量化至INT4模型，與將相同參數(shù)規(guī)模的模型量化至16FP或32FP浮點(diǎn)模型相比，能夠有效降低內(nèi)存帶寬占用，讓AI大模型推理更契合移動端的高能效低功耗需求。
可以預(yù)見的是，2024年，AI能力——無論是算力規(guī)模、每瓦性能、Token生成速度還是調(diào)通LLM/LVM的參數(shù)量級——都將加入移動SoC“核心規(guī)格”的定義之中。
從硬件到軟件 驍龍AI的生態(tài)閉環(huán)
有了以第三代驍龍8為代表的新一代移動平臺作為端側(cè)AI大模型支撐，國內(nèi)各家早已備好且多次刷榜的自研大模型終于得以落地終端，小米澎湃OS迎來了史上最強(qiáng)的小愛同學(xué)大模型，OriginOS 4得以端側(cè)加載10億與70億參數(shù)的藍(lán)心大模型，ColorOS 14也迎來了AndesGPT全新加持。各家對于AI大模型的具體用例百花齊放，包括但不限于支持自然語義理解的語音助手、實(shí)時字幕、文檔總結(jié)、自動生成腦圖、超能搜索、閃速摳圖、文案生成、風(fēng)格化圖片、照片背景替換、圖片識別、圖片生成等等等等……端側(cè)AI大模型可以把用戶從繁瑣重復(fù)的日常操作中解放出來，云側(cè)大模型可以基于龐大的模型參數(shù)消弭認(rèn)知差距，填平通識溝壑，讓用戶以好的狀態(tài)投入更具創(chuàng)新性的工作之中，這才是人類擅長的事情，這也是生成式AI的真正力量。
為了推動端側(cè)AI大模型的普及與混合AI愿景的實(shí)現(xiàn)，高通早在去年就推出了高通AI軟件棧，這是一套旨在幫助開發(fā)者一次編寫、隨處運(yùn)行，實(shí)現(xiàn)規(guī)?；渴鸬拈_發(fā)工具。高通AI軟件棧全面支持主流AI框架，還集成了推理軟件開發(fā)包，比如高通神經(jīng)網(wǎng)絡(luò)處理SDK。支持最新編程語言、虛擬平臺和編譯器，在底層系統(tǒng)軟件集成了基礎(chǔ)的實(shí)時操作系統(tǒng)(RTOS)、系統(tǒng)接口和驅(qū)動程序，還支持廣泛的操作系統(tǒng)，以及用于部署和監(jiān)控的基礎(chǔ)設(shè)施。高通AI軟件棧還集成了開發(fā)工具高通AI Studio，支持從模型設(shè)計(jì)到優(yōu)化、部署和分析的完整工作流。它將高通提供的全部工具集成到一個圖形用戶界面，并利用可視化工具以簡化開發(fā)者體驗(yàn)， 支持開發(fā)者實(shí)時查看模型開發(fā)進(jìn)度，這其中包括高通AI模型增效工具包(AIMET)、AI模型增效工具包模型庫、模型分析器和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。
AI軟件生態(tài)之外，多設(shè)備協(xié)同也是端側(cè)AI體驗(yàn)的進(jìn)一步延伸，對此，高通擁有一個無可比擬的優(yōu)勢——數(shù)十億計(jì)的高通與驍龍平臺保有量，而且智能手機(jī)之外還涵蓋了汽車中控、XR、AR、PC以及物聯(lián)網(wǎng)設(shè)備，其中針對XR設(shè)備的全新XR2和AR1片均支持了眼鏡側(cè)AI，第一代高通S7音頻系列平臺甚至實(shí)現(xiàn)了超過100倍的端側(cè)AI性能提升，每年還有數(shù)億臺搭載驍龍和高通平臺的終端設(shè)備進(jìn)入市場。高通也為Android廠商與用戶帶來了全新的Snapdragon Seamless跨平臺互聯(lián)技術(shù)，可實(shí)現(xiàn)多臺終端跨多個操作系統(tǒng)無縫連接，共享外設(shè)和數(shù)據(jù)。包括微軟、Android團(tuán)隊(duì)、小米、華碩、榮耀、聯(lián)想和OPPO在內(nèi)的公司正與高通合作，打造Snapdragon Seamless賦能的多終端體驗(yàn)，Snapdragon Seamless示范用例描繪了相當(dāng)未來的智能體驗(yàn)，包括鼠標(biāo)和鍵盤可在PC、手機(jī)和平板電腦上無縫使用，文件和窗口可在不同類型的終端間拖放，耳塞可根據(jù)音源的優(yōu)先級進(jìn)行智能切換，XR可為智能手機(jī)提供擴(kuò)展功能等等。
總的來說，圍繞第三代驍龍8移動平臺，高通構(gòu)建了一套完整的AI生態(tài)體系，包括性能領(lǐng)先的端側(cè)AI引擎搭建的硬件閉環(huán)，幫助開發(fā)者實(shí)現(xiàn)一次編寫規(guī)?；渴鸬母咄ˋI軟件棧的軟件生態(tài)，以及挖掘以十億計(jì)的設(shè)備保有量潛在能力的高通Seamless互聯(lián)協(xié)議。這一套先進(jìn)硬件為基石，軟件生態(tài)為框架，并輔以跨品牌跨平臺互聯(lián)協(xié)議填充細(xì)節(jié)的端側(cè)AI生態(tài)，是高通在移動端端側(cè)AI領(lǐng)域獨(dú)一無二的生態(tài)優(yōu)勢，而在即將到來的移動端AI新浪潮中，高通將以此成為啟幕移動智能“芯”時代的重要參與者。
(本文轉(zhuǎn)載自Vetrax囂張衛(wèi)視 微博文章)
