CVPR作為計(jì)算機(jī)視覺領(lǐng)域和模式識別領(lǐng)域的世界級學(xué)術(shù)頂會，不僅是展示前沿科技成果的學(xué)術(shù)會議，也是探索學(xué)術(shù)應(yīng)用的一大平臺。今年，百度聯(lián)合澳大利亞悉尼科技大學(xué)和美國北卡羅來納大學(xué)舉辦CVPR 2021 NAS workshop，同時于3月1日正式啟動CVPR 2021 NAS國際競賽，面向全球開發(fā)者開放報(bào)名通道。
人臉識別、語音識別、機(jī)器翻譯……每一項(xiàng)人工智能應(yīng)用的背后都離不開AI技術(shù)算法模型，而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對最終模型的效果起著至關(guān)重要的作用。為降低傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對人工經(jīng)驗(yàn)和背景知識的依賴，近年來神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索(NAS)技術(shù)成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)。為了解決神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的搜索效率和效果問題，此次競賽以輕量級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)為研究課題，為全球挑戰(zhàn)者切磋交流、打造前沿AI模型結(jié)構(gòu)搜索技術(shù)提供了絕佳機(jī)會。
雙賽道并行 探索NAS技術(shù)革新之道
早期的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索通過將每個神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上都訓(xùn)練到收斂，然后評估其效果，會耗費(fèi)大量的算力資源，阻礙了在實(shí)際業(yè)務(wù)中的應(yīng)用。因此，業(yè)界開始逐漸研究使用基于可微分框架和超網(wǎng)絡(luò)的輕量級搜索算法，但相關(guān)方法在靈活性和搜索效果上存在一定問題。
從實(shí)際技術(shù)研究中的關(guān)鍵問題出發(fā)，本次大賽特意設(shè)置了雙賽道：超網(wǎng)絡(luò)一致性賽道和模型性能預(yù)測賽道。參賽者可以任意選擇或同時參加兩個賽道。獲勝的隊(duì)伍會被邀請?jiān)贑VPR NAS workshop上宣講隊(duì)伍的技術(shù)方案。
賽道一：超網(wǎng)絡(luò)一致性track
由于算法的高效性，OneshotNAS逐漸成為研究人員的研究熱點(diǎn)。通過參數(shù)共享的方式，研究人員不再需要獨(dú)立訓(xùn)練并評估每個子網(wǎng)絡(luò)的性能而是只需要訓(xùn)練一個大的超網(wǎng)絡(luò)，然后通過繼承超網(wǎng)絡(luò)參數(shù)的方式快速評估每個子網(wǎng)絡(luò)的性能，從而可以非常高效的進(jìn)行模型結(jié)構(gòu)自動搜索。然而，獨(dú)立訓(xùn)練子網(wǎng)絡(luò)的性能、性能排序與子網(wǎng)絡(luò)繼承超網(wǎng)絡(luò)參數(shù)的性能、性能排序之間有很大的偏差，從而導(dǎo)致搜索得到結(jié)構(gòu)性能差無法使用。本賽道旨在解決超網(wǎng)絡(luò)的一致性問題?；诔W(wǎng)絡(luò)性能與獨(dú)立訓(xùn)練子網(wǎng)絡(luò)性能最一致的隊(duì)伍將獲得冠軍。
賽道二：模型性能預(yù)測track
在不訓(xùn)練的情況下，準(zhǔn)確的預(yù)測任意模型結(jié)構(gòu)性能非常重要。基于此，不僅可以深度的分析模型結(jié)構(gòu)的性能優(yōu)劣，同時還能夠預(yù)測出滿足任意硬件延時約束下的最優(yōu)的模型結(jié)構(gòu)。本賽事提供了部分(小樣本)模型結(jié)構(gòu)與模型精度之間對應(yīng)關(guān)系的bench mark,參賽選手既可以通過黑盒的方式直接進(jìn)行訓(xùn)練，也可以使用白盒的方式進(jìn)行參數(shù)估計(jì)。最終預(yù)測泛化性能最好的模型隊(duì)伍將獲得冠軍。
技術(shù)、平臺、免費(fèi)算力 百度全方位助力AI競技
此次百度聯(lián)合悉尼科技大學(xué)和美國北卡羅來納大學(xué)等高校舉辦CVPR 2021 NAS workshop，并在CVPR 2021舉辦的NAS國際競賽是第一屆輕量級神經(jīng)網(wǎng)絡(luò)自動搜索競賽。
作為人工智能技術(shù)領(lǐng)域的領(lǐng)軍者與深耕者，百度在NAS領(lǐng)域擁有強(qiáng)大的技術(shù)優(yōu)勢和深厚技術(shù)積累。目前，百度在NAS領(lǐng)域已原創(chuàng)性地提出了GP-NAS(CVPR)和SA-NAS(IJCV)等多個AutoDL算法，并使用研發(fā)的AutoDL技術(shù)先后七次在CVPR與ECCV等國際比賽中奪得世界第一。
百度在NAS領(lǐng)域還孵化了模型壓縮工具PaddleSlim。這是基于飛槳PaddlePaddle打造的開源模型壓縮工具庫，囊括了深度學(xué)習(xí)模型壓縮領(lǐng)域常用的量化、剪枝、蒸餾、模型結(jié)構(gòu)搜索等方法，并且打造了CV和NLP領(lǐng)域的模型壓縮方案。
通過此次競賽，百度期望與全球開發(fā)者就NAS技術(shù)展開廣泛交流與學(xué)習(xí)，積極分享技術(shù)成果與心得。
百度飛槳作為中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，為本次競賽參賽者提供了平臺和GPU算力等技術(shù)支持，助力AI人才破除參賽桎梏。除了“以賽促學(xué)”、通過競賽挖掘AI人才外，百度以飛槳為創(chuàng)新基座構(gòu)建起涵蓋學(xué)習(xí)、實(shí)踐、比賽、認(rèn)證、就業(yè)在內(nèi)的全周期服務(wù)體系，已培養(yǎng)AI人才超100萬。未來5年，百度還將培養(yǎng)超過500萬人工智能技術(shù)與產(chǎn)業(yè)人才。
此次競賽不僅為各賽道的優(yōu)勝者準(zhǔn)備了共計(jì)10000美金的獎勵，還將在workshop中邀請多位重量級嘉賓進(jìn)行分享演講。競賽于3月1日正式開啟報(bào)名通道，想進(jìn)一步了解CVPR 2021 NAS國際競賽詳情和報(bào)名方式，可進(jìn)入workshop比賽頁面(https://www.cvpr21-nas.com/competition)查看詳細(xì)內(nèi)容。
