5月20日，由深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實驗室與百度聯(lián)合主辦WAVE SUMMIT2021深度學(xué)習(xí)開發(fā)者峰會在北京盛大舉行。百度首次揭曉人工智能融合創(chuàng)新趨勢下的AI工業(yè)大生產(chǎn)實現(xiàn)路徑，飛槳深度學(xué)習(xí)平臺帶來全新發(fā)布，持續(xù)引領(lǐng)深度學(xué)習(xí)技術(shù)發(fā)展。
峰會上，百度深度學(xué)習(xí)技術(shù)平臺部高級總監(jiān)馬艷軍就飛槳全新發(fā)布與升級展開演講。他表示，年初飛槳正式發(fā)布了開源框架2.0版本，是飛槳發(fā)展歷程中的重要里程碑。2.0版本默認的編程范式由靜態(tài)圖升級為動態(tài)圖，而且實現(xiàn)了動靜統(tǒng)一的設(shè)計，很好地兼顧了科研和產(chǎn)業(yè)的需求。目前，飛槳深度學(xué)習(xí)開源平臺從基礎(chǔ)模型庫、端到端開發(fā)套件到工具組件，都基于框架2.0版本進行了升級，開發(fā)體驗得到了全面提升。2.0版本的大規(guī)模訓(xùn)練能力持續(xù)突破，參數(shù)服務(wù)器技術(shù)迭代到第三代，是業(yè)內(nèi)首個通用異構(gòu)參數(shù)服務(wù)器架構(gòu)。最近又發(fā)布了4D混合并行技術(shù)，支持超大模型訓(xùn)練。
此次峰會飛槳框架又迎來了重磅發(fā)布，展示最新的技術(shù)成果和開源生態(tài)成就，其關(guān)注程度可想而知。接下來，我們來逐一揭秘飛槳開源深度學(xué)習(xí)平臺從開發(fā)、訓(xùn)練、部署全鏈路的最新成果。
飛槳開源框架V2.1，技術(shù)底座呈破圈之勢
基礎(chǔ)設(shè)施一小步，AI上線一大步。
峰會上，飛槳開源框架正式發(fā)布V2.1版本，自動混合精度、動態(tài)圖、高層API等進行了優(yōu)化和增強。尤其是自定義算子功能全面升級，降低開發(fā)者自定義算子的學(xué)習(xí)與開發(fā)成本。“自定義OP功能優(yōu)化”等升級帶來極強的科研開發(fā)靈活性和擴展能力，產(chǎn)業(yè)應(yīng)用已從成熟的AI行業(yè)延伸到生物、物理、化學(xué)等大科學(xué)跨界領(lǐng)域的開發(fā)集成，助力前沿基礎(chǔ)科學(xué)研究。
封裝更簡潔、訓(xùn)練和推理全打通、一鍵編譯、安裝并生成算子API，有效降低了開發(fā)者編寫和使用自定義算子的成本，讓開發(fā)者更加專注于算子計算的本質(zhì)。深度勢能的分子動力學(xué)開源項目(DeePMD-kit)就是一個典型的案例。DeePMD-kit發(fā)布以來，在凝聚態(tài)物理、化學(xué)物理、材料理性設(shè)計、生物物理、藥物分子設(shè)計等領(lǐng)域均得到廣泛應(yīng)用。DeePMD-kit的社區(qū)開發(fā)者使用飛槳框架的自定義OP功能可以方便地進行計算單元的自定義，加速功能開發(fā)。
開發(fā)上便捷靈活、應(yīng)用上普適多元。飛槳正在一步步創(chuàng)造領(lǐng)先同行的深度學(xué)習(xí)開源能力，產(chǎn)業(yè)滲透已呈“破圈”之勢。
大規(guī)模圖檢索引擎，特殊場景的“啟動密碼”
隨著大規(guī)模圖學(xué)習(xí)在知識圖譜和搜索推薦領(lǐng)域的廣泛應(yīng)用，大規(guī)模圖模型訓(xùn)練愈加受到重視，已經(jīng)成為諸多特殊場景的“啟動密碼”。
飛槳提供了從分布式數(shù)據(jù)處理、圖檢索、前向反向圖模型計算、多server參數(shù)更新的全流程通用分布式能力，形成了大規(guī)模圖模型訓(xùn)練架構(gòu)。對于其中圖檢索環(huán)節(jié)，此次發(fā)布的圖檢索引擎，可以高效支持萬億邊的圖存儲和檢索，將圖的鄰接表通過雙層哈希切分方式存放到不同graphserver上。worker端請求graphserver通過圖檢索引擎獲得子圖進行訓(xùn)練。最后在Intel CPU環(huán)境上實測，可以支持萬億邊圖模型訓(xùn)練，也很好地支持線性擴展。
這一技術(shù)在網(wǎng)易云音樂主播推薦業(yè)務(wù)進行了應(yīng)用?；诖笠?guī)模圖檢索引擎和飛槳分布式訓(xùn)練技術(shù)，成功支撐語音主播業(yè)務(wù)十億邊的圖模型訓(xùn)練，通過知識遷移有效解決冷啟動問題，提高主播推薦場景有效播放率。
ERNIE四大預(yù)訓(xùn)練模型，開源家族又添生力軍
模型套件方面，文心ERNIE全新開源發(fā)布 4大預(yù)訓(xùn)練模型，分別是多粒度語言知識增強模型ERNIE-Gram、超長文本理解模型ERNIE-Doc、融合場景圖知識的跨模態(tài)理解模型ERNIE-ViL和語言與視覺一體的模型ERNIE-UNIMO。知識與深度學(xué)習(xí)相結(jié)合實現(xiàn)知識增強的語義理解，不僅僅能理解語言，還可以理解圖像，實現(xiàn)統(tǒng)一的跨模態(tài)語義理解。
ERNIE-Gram提出顯式的n-gram掩碼語言模型，通過引入多粒度語言知識增強預(yù)訓(xùn)練模型效果，5項典型中文文本任務(wù)效果顯著超越業(yè)界開源的預(yù)訓(xùn)練模型。
ERNIE-Doc針對篇章長文本建模不充分問題，提出回顧式建模技術(shù)和增強記憶模型機制，在13 項長文本理解任務(wù)上取得領(lǐng)先效果。
ERNIE-ViL針對跨模態(tài)理解難題，基于知識增強思想，實現(xiàn)了融合場景知識的跨模態(tài)預(yù)訓(xùn)練，在5項跨模態(tài)理解任務(wù)上取得效果領(lǐng)先。
ERNIE-UNIMO進一步增強不同模態(tài)間的知識融合，通過跨模態(tài)對比學(xué)習(xí)，同時提升跨模態(tài)語義理解與生成、文本理解與生成的效果，在13項跨模態(tài)和文本任務(wù)上實現(xiàn)領(lǐng)先。
推理部署導(dǎo)航圖，打通AI應(yīng)用最后一公里
在產(chǎn)業(yè)數(shù)字化背景下，AI建設(shè)從互聯(lián)網(wǎng)市場向千行百業(yè)邁進，落地成為必然要求。AI能否順利推理部署，已經(jīng)成為落地成敗的關(guān)鍵。飛槳提供全流程的深度學(xué)習(xí)開發(fā)工具。針對不同的軟硬件部署環(huán)境，飛槳都提供了完善的推理部署工具，并打通了完整的工具鏈。
峰會現(xiàn)場，飛槳多端多平臺推理部署工具鏈發(fā)布全面升級。飛槳模型壓縮工具PaddleSlim模型壓縮升級，優(yōu)化剪枝壓縮技術(shù)，新增非結(jié)構(gòu)化稀疏工具，擁有軟硬一體協(xié)同優(yōu)化的能力，結(jié)合多種壓縮策略優(yōu)勢，率先支持 OFA 壓縮模式，面向不同部署環(huán)境實現(xiàn)高精度壓縮。飛槳的輕量化推理引擎Paddle Lite也進行了全面升級，兼具穩(wěn)定易用、性能優(yōu)異、多硬件支持諸多特性。針對服務(wù)化部署的實際需求，Paddle Serving 新增全異步設(shè)計的 Pipeline 模式，可以一個服務(wù)啟動10+模型，打破串行設(shè)計的約束，提升吞吐量和 GPU 利用率。飛槳的前端推理引擎Paddle.js 新升級后保持高兼容性，完整支持了飛槳框架2.0及之后版本的模型格式，新增支持多種 Backend和主流圖像分割及分類模型，在高兼容性的同時兼顧了高性能。另外，Paddle.JS還推出了前端模型加密解決方案，有效提高業(yè)務(wù)的安全性。
推理部署工具鏈各個工具正加速升級，而整個鏈條是否通暢也非常重要，這一定程度上決定了AI應(yīng)用最后一公里的路能否走順。峰會現(xiàn)場，一張飛槳推理部署導(dǎo)航圖成功吸睛，300多條部署通路一目了然，深刻詮釋了飛槳在打通AI應(yīng)用最后一公里所做出的不懈努力。
硬件生態(tài)新成果，AI工業(yè)大生產(chǎn)“朋友圈”再擴容
AI基礎(chǔ)軟硬件生態(tài)構(gòu)建意義非凡，芯片與深度學(xué)習(xí)框架的融合成為構(gòu)建全球領(lǐng)先的AI 應(yīng)用與推廣生態(tài)的關(guān)鍵。
飛槳的枝繁葉茂也離不開廣大硬件生態(tài)伙伴的支持。硬件生態(tài)方面，從去年WAVE SUMMIT2020峰會發(fā)布硬件生態(tài)伙伴圈到今天的一年時間里，飛槳已經(jīng)和包括百度昆侖、英特爾在內(nèi)的22家國內(nèi)外硬件廠商開展適配和聯(lián)合優(yōu)化，已完成和正在適配的芯片或IP達到了31款。
飛槳正與合作伙伴們攜手，加快軟硬一體適配，提供功能強大、高效、可擴展和高性能的解決方案，助力實現(xiàn)AI創(chuàng)新，推動AI工業(yè)大生產(chǎn)的實現(xiàn)進程。峰會現(xiàn)場，英特爾、英偉達、海光、華為昇騰、瑞芯微多家合作伙伴進行了企業(yè)硬件生態(tài)成果展示，飛槳生態(tài)的硬件朋友圈再次擴容。
螺旋槳、量槳最新升級
當(dāng)天除了全新發(fā)布，還見證了螺旋槳、量槳的最新升級。
螺旋槳 (PaddleHelix)升級到了1.0正式版本，新增了化合物預(yù)訓(xùn)練模型ChemRL，并將ChemRL模型應(yīng)用到更多的下游任務(wù)。在今年3月，國際權(quán)威的圖神經(jīng)網(wǎng)絡(luò)OGB 上，在HIV和PCBA兩個藥物相關(guān)的數(shù)據(jù)集上，獲得雙冠軍。
量槳( Paddle Quantum)適配飛槳框架2.X，整體運行大幅度提升;量槳的整體功能也得到了進一步加強，適配了近期量子設(shè)備，新增量子核方法等特征提取方式等。對于難度很大的糾纏提純?nèi)蝿?wù)，量槳新增了最優(yōu)化量子糾纏處理框架，給出了目前業(yè)界最優(yōu)且可實施的提純方案，多個場景達到業(yè)界最優(yōu)。
AI大生產(chǎn)階段，作為百度大腦“AI大生產(chǎn)平臺”的基礎(chǔ)底座，飛槳始終保持著高頻更新迭代，是“技術(shù)使能者”也是“價值賦能者”。IDC數(shù)據(jù)顯示，飛槳是全球排名前三的深度學(xué)習(xí)框架。目前，飛槳平臺已經(jīng)凝聚了320萬開發(fā)者，相比一年前增幅70%，服務(wù)12萬家企事業(yè)單位。飛槳“AI賦能萬物”的磅礴力量再次凸顯，也用行動踐行著百度“用科技讓復(fù)雜的世界更簡單”的使命。
