技術(shù)干貨：鵬城-百度·文心發(fā)布，如何在60多項(xiàng)任務(wù)上取得最好效果？

近日，百度與鵬城自然語言處理聯(lián)合實(shí)驗(yàn)室重磅發(fā)布鵬城-百度·文心(模型版本號(hào)：ERNIE 3.0 Titan)，該模型是全球首個(gè)知識(shí)增強(qiáng)的千億AI大模型，也是目前為止全球最大的中文單體模型。

基于業(yè)界領(lǐng)先的鵬城實(shí)驗(yàn)室算力系統(tǒng)“鵬城云腦Ⅱ”和百度飛槳深度學(xué)習(xí)平臺(tái)強(qiáng)強(qiáng)練手，鵬城-百度·文心模型參數(shù)規(guī)模超越GPT-3達(dá)到2600億，致力于解決傳統(tǒng)AI模型泛化性差、強(qiáng)依賴于昂貴的人工標(biāo)注數(shù)據(jù)、落地成本高等應(yīng)用難題，降低AI開發(fā)與應(yīng)用門檻。目前該模型在60多項(xiàng)任務(wù)取得最好效果，并大幅刷新小樣本學(xué)習(xí)任務(wù)基準(zhǔn)。

百度文心大模型官網(wǎng)：https://www.paddlepaddle.org.cn/wenxin

鵬城-百度·文心模型如何誕生？

鵬城-百度·文心基于百度知識(shí)增強(qiáng)大模型ERNIE 3.0全新升級(jí)，模型參數(shù)規(guī)模達(dá)到2600億，相對(duì)GPT-3的參數(shù)量提升50%。

在算法框架上，該模型沿襲了ERNIE 3.0的海量無監(jiān)督文本與大規(guī)模知識(shí)圖譜的平行預(yù)訓(xùn)練算法，模型結(jié)構(gòu)上使用兼顧語言理解與語言生成的統(tǒng)一預(yù)訓(xùn)練框架。為提升模型語言理解與生成能力，研究團(tuán)隊(duì)進(jìn)一步設(shè)計(jì)了可控和可信學(xué)習(xí)算法。

在訓(xùn)練上，結(jié)合百度飛槳自適應(yīng)大規(guī)模分布式訓(xùn)練技術(shù)和“鵬城云腦Ⅱ”算力系統(tǒng)，解決了超大模型訓(xùn)練中多個(gè)公認(rèn)的技術(shù)難題。在應(yīng)用上，首創(chuàng)大模型在線蒸餾技術(shù)，大幅降低了大模型落地成本。

鵬城-百度·文心的可控和可信學(xué)習(xí)算法

在算法設(shè)計(jì)上，為進(jìn)一步提升模型語言理解能力以及寫小說、歌詞、詩(shī)歌、對(duì)聯(lián)等文學(xué)創(chuàng)作能力，研究團(tuán)隊(duì)提出了可控學(xué)習(xí)和可信學(xué)習(xí)算法。在可控學(xué)習(xí)方面，通過將模型預(yù)測(cè)出的文本屬性和原始文本進(jìn)行拼接，構(gòu)造從指定屬性生成對(duì)應(yīng)文本的預(yù)訓(xùn)練數(shù)據(jù)，模型通過對(duì)該數(shù)據(jù)的學(xué)習(xí)，實(shí)現(xiàn)不同類型的零樣本生成能力。用戶可以將指定的體裁、情感、長(zhǎng)度、主題、關(guān)鍵詞等屬性自由組合，無需標(biāo)注任何樣本，便可生成不同類型的文本。

在可信學(xué)習(xí)方面，針對(duì)模型生成結(jié)果與真實(shí)世界的事實(shí)一致性問題，鵬城-百度·文心通過自監(jiān)督的對(duì)抗訓(xùn)練，讓模型學(xué)習(xí)區(qū)分?jǐn)?shù)據(jù)是真實(shí)的還是模型偽造的，使得模型對(duì)生成結(jié)果真實(shí)性具備判斷能力，從而讓模型可以從多個(gè)候選中選擇最可靠的生成結(jié)果，顯著提升了生成結(jié)果的可信度。

高性能集群支撐鵬城-百度·文心訓(xùn)練

鵬城-百度·文心基于百度百舸集群初始化，并基于“鵬城云腦II”高性能集群訓(xùn)練。“鵬城云腦Ⅱ”由鵬城實(shí)驗(yàn)室聯(lián)合國(guó)內(nèi)優(yōu)勢(shì)科研力量研發(fā)，是我國(guó)首個(gè)國(guó)產(chǎn)E級(jí)AI算力平臺(tái)。

“鵬城云腦Ⅱ”于去年11月和今年7月接連兩次奪得IO 500總榜和10節(jié)點(diǎn)榜的雙料世界冠軍。今年5月，“鵬城云腦Ⅱ”在“MLPerf training V1.0”基準(zhǔn)測(cè)試中取得了自然語言處理領(lǐng)域模型性能第一名和圖像處理領(lǐng)域模型性能第二名的好成績(jī)。今年11月，“鵬城云腦”繼去年取得首屆AIPerf 500榜單冠軍后，再次榮獲排行榜冠軍。多次在相關(guān)領(lǐng)域國(guó)際權(quán)威競(jìng)賽中斬獲頭名，充分展現(xiàn)了其優(yōu)越的智能計(jì)算性能和軟硬件系統(tǒng)協(xié)同水平，也為鵬城-百度·文心強(qiáng)大技術(shù)能力奠定基礎(chǔ)。

飛槳自適應(yīng)大規(guī)模分布式訓(xùn)練和推理“保駕護(hù)航”

超大規(guī)模模型的訓(xùn)練和推理給深度學(xué)習(xí)框架帶來很大考驗(yàn)，需要利用大規(guī)模集群分布式計(jì)算才能在可接受時(shí)間內(nèi)完成訓(xùn)練或推理的計(jì)算要求，同時(shí)面臨著模型參數(shù)量單機(jī)無法加載、多機(jī)通信負(fù)載重、并行效率低等難題。早在今年4月，國(guó)產(chǎn)深度學(xué)習(xí)框架百度飛槳發(fā)布了4D混合并行技術(shù)，可支持千億參數(shù)模型的高效分布式訓(xùn)練。

但鵬城-百度·文心的訓(xùn)練任務(wù)給飛槳帶來全新挑戰(zhàn)：一方面，鵬城-百度·文心的模型結(jié)構(gòu)設(shè)計(jì)引入諸多小形狀的張量計(jì)算，導(dǎo)致層間計(jì)算量差異較大，流水線負(fù)載不均衡;另一方面，“鵬城云腦II”的自有軟件棧需要深度學(xué)習(xí)框架高效深度適配，才能充分發(fā)揮其集群的領(lǐng)先算力優(yōu)勢(shì)。

針對(duì)以上挑戰(zhàn)，并綜合考慮當(dāng)前主流硬件、模型的特點(diǎn)與發(fā)展趨勢(shì)，飛槳設(shè)計(jì)并研發(fā)了具備更強(qiáng)擴(kuò)展能力的端到端自適應(yīng)大規(guī)模分布式訓(xùn)練架構(gòu)(論文鏈接：https://arxiv.org/abs/2112.02752)。該架構(gòu)可以針對(duì)不同的模型和硬件，抽象成統(tǒng)一的分布式計(jì)算視圖和資源視圖，并通過硬件感知細(xì)粒度切分和映射功能，搜索出最優(yōu)的模型切分和硬件組合策略，將模型參數(shù)、梯度、優(yōu)化狀態(tài)按照最優(yōu)策略分配到不同的計(jì)算卡上，達(dá)到節(jié)省存儲(chǔ)、負(fù)載均衡、提升訓(xùn)練性能的目的。

飛槳自適應(yīng)大規(guī)模分布式訓(xùn)練架構(gòu)使得鵬城-百度·文心的訓(xùn)練性能是傳統(tǒng)分布式訓(xùn)練方法2.1倍，并行效率高達(dá)90%。此外，為進(jìn)一步提高模型訓(xùn)練的穩(wěn)定性，飛槳還設(shè)計(jì)了容錯(cuò)功能，可以在不中斷訓(xùn)練的情況下自動(dòng)替換故障機(jī)器，加強(qiáng)模型訓(xùn)練的魯棒性。

在推理方面，飛槳基于服務(wù)化部署框架Paddle Serving，通過多機(jī)多卡的張量模型并行、流水線并行等一系列優(yōu)化技術(shù)，獲得最佳配比和最優(yōu)吞吐。通過統(tǒng)一內(nèi)存尋址(Unified Memory)、算子融合、模型IO優(yōu)化、量化加速等方式，鵬城-百度·文心的推理速度得到進(jìn)一步提升。

鵬城-百度·文心超強(qiáng)性能：60多項(xiàng)任務(wù)取得最好效果，大幅刷新小樣本學(xué)習(xí)任務(wù)基準(zhǔn)

鵬城-百度·文心究竟效果如何?目前，該模型已在機(jī)器閱讀理解、文本分類、語義相似度計(jì)算等60多項(xiàng)任務(wù)中取得最好效果。

在行業(yè)領(lǐng)域，僅利用少量標(biāo)注數(shù)據(jù)甚至無需標(biāo)注數(shù)據(jù)，就能解決新場(chǎng)景的任務(wù)已成為AI工業(yè)化大規(guī)模應(yīng)用的關(guān)鍵。該模型在30余項(xiàng)小樣本和零樣本任務(wù)上均取得了最優(yōu)成績(jī)，能夠?qū)崿F(xiàn)各類AI應(yīng)用場(chǎng)景效果的提升，也為產(chǎn)業(yè)化規(guī)模應(yīng)用打開了新窗口。

解決應(yīng)用落地難題：百度團(tuán)隊(duì)首創(chuàng)大模型在線蒸餾技術(shù)

大模型訓(xùn)練、推理所消耗的資源極其昂貴和密集。Paddle Serving已提供了超大模型的高速推理方案，但為了進(jìn)一步打造大模型的綠色落地方案，降低大模型應(yīng)用成本，研究團(tuán)隊(duì)提出了大模型在線蒸餾技術(shù)。

具體來說，該技術(shù)在鵬城-百度·文心學(xué)習(xí)的過程中周期性地將知識(shí)信號(hào)傳遞給若干個(gè)學(xué)生模型同時(shí)訓(xùn)練，從而在蒸餾階段一次性產(chǎn)出多種尺寸的學(xué)生模型。相對(duì)傳統(tǒng)蒸餾技術(shù)，該技術(shù)極大節(jié)省了因大模型額外蒸餾計(jì)算以及多個(gè)學(xué)生的重復(fù)知識(shí)傳遞帶來的算力消耗。

這種新穎的蒸餾方式利用了鵬城-百度·文心規(guī)模優(yōu)勢(shì)，在蒸餾完成后保證了學(xué)生模型的效果和尺寸豐富性，方便不同性能需求的應(yīng)用場(chǎng)景使用。此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)，鵬城-百度·文心與學(xué)生模型尺寸差距千倍以上，模型蒸餾難度極大甚至失效。為此，研究團(tuán)隊(duì)引入了助教模型進(jìn)行蒸餾的技術(shù)，利用助教作為知識(shí)傳遞的橋梁以縮短學(xué)生模型和鵬城-百度·文心 表達(dá)空間相距過大的問題，從而促進(jìn)蒸餾效率的提升。

鵬城-百度·文心在線蒸餾方案的效果非常顯著，模型參數(shù)壓縮率可達(dá)99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)。相比直接訓(xùn)練參數(shù)規(guī)模是自身2倍的BERT Base模型，鵬城-百度·文心在5項(xiàng)任務(wù)準(zhǔn)確率上絕對(duì)提升了2.5%，而相對(duì)于同等規(guī)模的RoBERTa Base，準(zhǔn)確率則絕對(duì)提升了3.4%，驗(yàn)證了鵬城-百度·文心在線蒸餾方案的有效性。

結(jié)語

文心ERNIE自2019年誕生至今，在語言理解、文本生成、跨模態(tài)語義理解等領(lǐng)域取得多項(xiàng)技術(shù)突破，在公開權(quán)威語義評(píng)測(cè)中斬獲了十余項(xiàng)世界冠軍。2020年，文心ERNIE榮獲世界人工智能大會(huì)WAIC最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng)。

目前，文心ERNIE已大規(guī)模應(yīng)用于搜索、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品，并通過百度智能云輸出到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)，助力產(chǎn)業(yè)智能化升級(jí)。本次發(fā)布的鵬城-百度·文心將進(jìn)一步解決 AI 技術(shù)在應(yīng)用中缺乏領(lǐng)域和場(chǎng)景化數(shù)據(jù)等關(guān)鍵難題，降低門檻，加快人工智能大規(guī)模產(chǎn)業(yè)應(yīng)用。