國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議(CVPR)是人工智能領(lǐng)域最有學(xué)術(shù)影響力的頂級(jí)會(huì)議之一。加拿大溫哥華當(dāng)?shù)貢r(shí)間6月21日，CVPR 2023正式公布了最佳論文等獎(jiǎng)項(xiàng)。上海人工智能實(shí)驗(yàn)室(上海AI實(shí)驗(yàn)室)、武漢大學(xué)及商湯科技聯(lián)合提出的自動(dòng)駕駛通用模型相關(guān)論文從9155篇作品中脫穎而出，獲得本屆CVPR最佳論文獎(jiǎng)(Best Paper Award)。
上海AI實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)獲CVPR 2023最佳論文獎(jiǎng)
據(jù)悉，這也是近十年來計(jì)算機(jī)視覺三大頂級(jí)會(huì)議中(CVPR、ICCV、ECCV)第一篇以中國(guó)學(xué)術(shù)機(jī)構(gòu)作為第一單位的最佳論文。入圍本屆CVPR最佳論文候選名單(Award Candidate)的作品來自包括谷歌、上海AI實(shí)驗(yàn)室、斯坦福大學(xué)、康奈爾大學(xué)等在內(nèi)的世界頂尖企業(yè)及機(jī)構(gòu)。
最終，上海AI實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)的研究成果《Planning-oriented Autonomous Driving》[1](以路徑規(guī)劃為導(dǎo)向的自動(dòng)駕駛)摘取CVPR 2023最佳論文獎(jiǎng)。該論文首次提出感知決策一體化的自動(dòng)駕駛通用大模型UniAD，開創(chuàng)了以全局任務(wù)為目標(biāo)的自動(dòng)駕駛大模型架構(gòu)先河, 為自動(dòng)駕駛技術(shù)的發(fā)展創(chuàng)新提出了新的方向。
在本屆CVPR上，上海AI實(shí)驗(yàn)室以一篇最佳論文、一篇最佳論文候選、12篇入選“Highlight”名單的成績(jī)，在國(guó)際上充分展示了中國(guó)原創(chuàng)AI的實(shí)力!
萬里挑一：中國(guó)科研團(tuán)隊(duì)閃耀國(guó)際頂會(huì)
CVPR在學(xué)術(shù)界及工業(yè)界都極具影響力。根據(jù)谷歌學(xué)術(shù)指標(biāo)(Google Scholar Metrics)2022年列出的全球最有影響力的六大科學(xué)期刊/會(huì)議中，CVPR位列第四，僅次于《自然》(Nature)、《新英格蘭醫(yī)學(xué)雜志》(NEJM)、《科學(xué)》(Science)期刊，排在《柳葉刀》(The Lancet)和《先進(jìn)材料》(Advanced Materials)之前。
CVPR每年評(píng)選出的一篇或多篇最佳論文，不僅為計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)學(xué)術(shù)榮譽(yù)，更代表了將對(duì)未來技術(shù)或行業(yè)發(fā)展產(chǎn)生重要影響的里程碑式研究成果。
今年的CVPR最佳論文近乎“萬里挑一”。據(jù)CVPR大會(huì)公布，今年的投稿量達(dá)9155篇，創(chuàng)下歷史新高。最終，大會(huì)共接收論文 2359 篇(接收率25.8%)。其中僅有12篇入選最佳論文候選名單(Award Candidate，入選率1.3‰)，提交機(jī)構(gòu)不僅包括谷歌、Stability AI等人工智能領(lǐng)域頂尖企業(yè)，也包括上海人工智能實(shí)驗(yàn)室、斯坦福大學(xué)、康奈爾大學(xué)、香港中文大學(xué)、香港科技大學(xué)、南洋理工大學(xué)等世界一流研究機(jī)構(gòu)及高校。
在本屆CVPR上，上海AI實(shí)驗(yàn)室有12篇論文入圍“Highlight”名單，覆蓋視覺基礎(chǔ)模型、通才模型、三維視覺、底層視覺、視頻檢索、物體檢測(cè)、姿態(tài)估計(jì)、自動(dòng)駕駛等相關(guān)領(lǐng)域的研究。其中，UniAD相關(guān)工作獲最佳論文獎(jiǎng)、三維物體數(shù)據(jù)集研究工作入圍最佳論文候選。
上海AI實(shí)驗(yàn)室主任助理喬宇表示，“上海AI實(shí)驗(yàn)室作為人工智能領(lǐng)域的新型科研機(jī)構(gòu)，致力于開展戰(zhàn)略性、原創(chuàng)性、前瞻性的科學(xué)研究與技術(shù)攻關(guān)，這次獲獎(jiǎng)在國(guó)際上充分展示了中國(guó)原創(chuàng)AI的實(shí)力!”
開創(chuàng)先河：感知決策一體化自動(dòng)駕駛大模型
在今年的CVPR最佳論文中，上海AI實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)提出了首個(gè)感知決策一體化的自動(dòng)駕駛通用大模型，開創(chuàng)了以全局任務(wù)為目標(biāo)的自動(dòng)駕駛大模型架構(gòu)先河, 為自動(dòng)駕駛技術(shù)與產(chǎn)業(yè)的發(fā)展提出了新的方向。
UniAD：業(yè)界首個(gè)感知決策一體化的自動(dòng)駕駛大模型
自動(dòng)駕駛是一個(gè)高度復(fù)雜的技術(shù)體系，不僅需要多個(gè)學(xué)科領(lǐng)域的知識(shí)和技能，包括傳感器硬件、機(jī)器學(xué)習(xí)、多模態(tài)融合等內(nèi)容，還需要適應(yīng)不同國(guó)家與地區(qū)的道路規(guī)則和交通文化，與車輛及行人進(jìn)行良好的交互，以實(shí)現(xiàn)高度的可靠性和安全性。
自動(dòng)駕駛系統(tǒng)中包含三大主任務(wù)即，感知、預(yù)測(cè)和規(guī)劃。當(dāng)前，業(yè)界主流的方案架構(gòu)分別采用不同的模塊來處理這些具體任務(wù)，但由于各模塊并非以駕駛為最終目標(biāo)進(jìn)行優(yōu)化，因而自動(dòng)駕駛系統(tǒng)的整體性能提升受到了很大限制。
在UniAD中，研究人員首次將感知、預(yù)測(cè)和規(guī)劃等三大類主任務(wù)、六小類子任務(wù)(目標(biāo)檢測(cè)、目標(biāo)跟蹤、場(chǎng)景建圖、軌跡預(yù)測(cè)、柵格預(yù)測(cè)和路徑規(guī)劃)整合到統(tǒng)一的基于 Transformer的端到端網(wǎng)絡(luò)框架下，實(shí)現(xiàn)了全棧關(guān)鍵任務(wù)駕駛通用模型。在 nuScenes 真實(shí)場(chǎng)景數(shù)據(jù)集下，UniAD的所有任務(wù)均達(dá)到領(lǐng)域最佳性能(State-of-the-art)，尤其是預(yù)測(cè)和規(guī)劃效果遠(yuǎn)超之前的最佳方案。其中，多目標(biāo)跟蹤準(zhǔn)確率超越SOTA 20%，車道線預(yù)測(cè)準(zhǔn)確率提升30%，預(yù)測(cè)運(yùn)動(dòng)位移和規(guī)劃的誤差則分別降低了38%和28%。
在晴天直行場(chǎng)景中，UniAD 可以感知左前方等待的黑色車輛，預(yù)測(cè)其未來軌跡(即將左轉(zhuǎn)駛?cè)胱攒嚨能嚨?，并立即減速以進(jìn)行避讓，待黑車駛離后再恢復(fù)正常速度直行
在雨天轉(zhuǎn)彎場(chǎng)景中，即便面對(duì)視野干擾較大且場(chǎng)景復(fù)雜的十字路口，UniAD 仍能通過分割模塊生成十字路口的整體道路結(jié)構(gòu)(如右側(cè) BEV圖中的綠色分割結(jié)果所示)，并完成大幅度的左轉(zhuǎn)
在夜晚視野變暗的情況下，UniAD能感知到前車并完成先靜止，后左轉(zhuǎn)的規(guī)劃
自動(dòng)駕駛是通用智能大模型“書生”(INTERN)重要的落地應(yīng)用領(lǐng)域之一，近年來，上海AI實(shí)驗(yàn)室自動(dòng)駕駛團(tuán)隊(duì)不斷突破創(chuàng)新，挑戰(zhàn)各項(xiàng)自動(dòng)駕駛研究任務(wù)，在多模態(tài)、時(shí)空融合、端到端、多任務(wù)等方面提出了新思路、新模式。
上海AI實(shí)驗(yàn)室青年科學(xué)家李弘揚(yáng)介紹，憑借其充分的可解釋性、安全性、與多模塊的可持續(xù)迭代性，UniAD是目前為止最具希望實(shí)際部署的端到端模型?；赨niAD的純視覺自動(dòng)駕駛方案可為產(chǎn)業(yè)界提供全新的研發(fā)思路，在節(jié)省大量硬件成本的同時(shí)，有助于提高出行的安全性與舒適性。該科研成果在產(chǎn)業(yè)界的落地應(yīng)用，將有力地推動(dòng)自動(dòng)駕駛技術(shù)與產(chǎn)品的規(guī)?；l(fā)展。
[1]論文鏈接： https://arxiv.org/abs/2212.10156
代碼鏈接：https://github.com/OpenDriveLab/UniAD
