9月9日，掘力計劃第23期線上分享活動以“AIGC的應(yīng)用和創(chuàng)新”為主題召開。本次活動的分享主題為《metaGPT：讓每個人擁有專屬智能體》，由深度賦智 NLP & AIGC 方向算法負責(zé)人洪思睿主講。
洪思睿曾任智能控制上市企業(yè) NLP 團隊負責(zé)人，負責(zé)千萬級行業(yè)知識圖譜及多項自然語言處理技術(shù)的應(yīng)用落地。在深度賦智，她負責(zé)法律、物流、美妝、電商等多個領(lǐng)域的知識問答、搜索系統(tǒng)及多模態(tài)應(yīng)用等行業(yè)落地工作。他還開源了多智能體框架metaGPT，并在 NeurIPS AutoDL 頂級競賽中獲得世界冠軍，相關(guān)工作及論文發(fā)表于頂級學(xué)術(shù)期刊《IEEE TPAMI》。
直播回放地址：https://juejin.cn/live/jpowermeetup23
大語言模型發(fā)展歷程
洪思睿首先回顧了大語言模型技術(shù)的發(fā)展歷程，從早期的 CBOW 自監(jiān)督學(xué)習(xí)方法，到 BERT 的雙向編碼器以及 GPT-3 的巨大規(guī)模預(yù)訓(xùn)練，再到最近的 GPT-4，大語言模型取得了巨大的技術(shù)突破。
早期技術(shù)：SSL、Transformer 和 BERT
自2013年起，自然語言理解領(lǐng)域出現(xiàn)了一些新的技術(shù)趨勢。早在2013年，CBOW 模型就使用了自監(jiān)督學(xué)習(xí)的方法，將詞嵌入到稠密的向量空間中，奠定了后來語言模型技術(shù)的基礎(chǔ)。2017年，Transformer 模型則通過引入注意力機制，改善了 CNN 在長序列建模方面的困難。隨后在2018年，BERT 的出現(xiàn)則證明了規(guī)?；A(yù)訓(xùn)練對自然語言理解的巨大提升，只需要在特定下游任務(wù)進行微調(diào)就可以取得非常強的效果。具體來說，BERT使用了多層 Transformer 編碼器進行預(yù)訓(xùn)練，通過 masked language model 和 next sentence prediction 等任務(wù)獲得了語義理解能力，然后在下游任務(wù)中進行微調(diào)從而適應(yīng)特定領(lǐng)域。
GPT-3的預(yù)訓(xùn)練范式
相比 BERT 采用預(yù)訓(xùn)練與微調(diào)相結(jié)合的方法，OpenAI 的 GPT 系列模型更加強調(diào)巨大規(guī)模的單向預(yù)訓(xùn)練。以 GPT-3 為例，它擁有高達 1750 億參數(shù)，但沒有進行微調(diào)就直接進行預(yù)訓(xùn)練并應(yīng)用。GPT-3 證明了更大規(guī)模的模型即使不經(jīng)微調(diào)也可以取得較強的泛化性能。隨著模型規(guī)模的擴大，GPT-3 展現(xiàn)出了更強的 Few-Shot 學(xué)習(xí)能力。
Instruction Tuning
在 GPT-3 之后，研究者提出了指令微調(diào)(Instruction Tuning)的訓(xùn)練方法，使用自然語言指令引導(dǎo)模型學(xué)習(xí)，可以進一步提升大規(guī)模預(yù)訓(xùn)練語言的數(shù)據(jù)利用能力，增強泛化能力。例如，基于該方法調(diào)優(yōu)后的模型，即使在未見過的數(shù)據(jù)集上也可以取得更高的準(zhǔn)確率。這為模型帶來了更好的遷移學(xué)習(xí)能力。
InstructGPT
Instruction Tuning 的idea也被 OpenAI 借鑒到了 InstructGPT 模型中。該模型不僅使用了指令微調(diào)，還利用了基于人類反饋的強化學(xué)習(xí)進行來降低模型輸出的毒性。實驗證明，使用人類反饋進行調(diào)優(yōu)后，模型的輸出質(zhì)量可以大幅提升，信息量更大，偏向性和有毒性內(nèi)容更少，更符合人類期待。
GPT-4時代的到來
今年3月，OpenAI 發(fā)布了 GPT-4 模型，其規(guī)模達到了 GPT-3 的 10 倍以上，參數(shù)量高達 18000 億。為實現(xiàn)這樣大規(guī)模模型的高效推理，OpenAI 采用了混合專家(Mixture of Experts)技術(shù)。具體來說，GPT-4 包含了 16 個規(guī)模約為 1110 億參數(shù)的專家模型，每次推理會調(diào)用 2 個專家，并在專家之間共享部分權(quán)重。在訓(xùn)練數(shù)據(jù)方面，GPT-4 使用了約 130 萬億個詞元進行預(yù)訓(xùn)練，是目前最大規(guī)模的語言模型。為實現(xiàn)高效訓(xùn)練，OpenAI 采用了多達 8k 的上下文序列長度，以及可變序列批處理和流水線等技術(shù)。
GPT-4 的到來預(yù)示著語言模型技術(shù)已經(jīng)進入一個新的階段，各大企業(yè)和機構(gòu)也紛紛推出了自己的預(yù)訓(xùn)練語言模型。在模型評測領(lǐng)域，MMLU 基準(zhǔn)測試已經(jīng)成為衡量不同語言模型能力的標(biāo)準(zhǔn)測試集。各模型在 MMLU 基準(zhǔn)測試中的排名也成為大家關(guān)注的焦點。
metaGPT：構(gòu)建多智能體框架
在模型技術(shù)日益成熟的背景下，模型的落地應(yīng)用也成為一個重要方向。洪思睿介紹了他們多智能體框架 metaGPT。該框架可以通過簡單的自然語言描述完成完整的軟件開發(fā)過程中的文檔輸出和代碼生成工作。
metaGPT 通過定義不同的角色，如產(chǎn)品經(jīng)理、架構(gòu)師、工程師等，讓每個角色負責(zé)軟件開發(fā)過程中的不同階段，實現(xiàn)流水線式的協(xié)同工作。具體來說，產(chǎn)品經(jīng)理會根據(jù)需求輸出產(chǎn)品文檔，架構(gòu)師負責(zé)設(shè)計架構(gòu)圖，最后工程師根據(jù)上游輸出進行代碼實現(xiàn)。
實驗證明，metaGPT 生成的代碼質(zhì)量明顯優(yōu)于其他基于智能體框架的代碼生成效果。因為上游角色的輸出為下游工程師提供了完整的上下文信息，將原始的需求/任務(wù)進行了更細化和結(jié)構(gòu)化的拆解，減少了歧義，提升了最終代碼的可靠性。在多個數(shù)據(jù)集上的評測也證明了 metaGPT 生成代碼的優(yōu)異性能。
智能體技術(shù)的應(yīng)用前景
洪思睿認為，基于大語言模型訓(xùn)練的智能體將會成為未來社會的重要組成部分。未來的人機交互范式也會從嵌入式模式，發(fā)展到輔助模式，再到代理模式，最終達到人機深度協(xié)作的社會化模式。在這個模式下，人類和智能體既可以自主提出需求，也可以相互提供資源來完成任務(wù)。
此外，未來互聯(lián)網(wǎng)的門戶也將從 App 變成智能體。用戶只需要向單個或多個智能體提出需求，由智能體負責(zé)完成整個工作流程，包括調(diào)用不同的軟件程序、設(shè)定參數(shù)等。這將極大提升人機協(xié)同的效率，更進一步帶來生活和工作方式的變革。
總結(jié)
本次分享活動洪思睿詳細介紹了大語言模型技術(shù)的發(fā)展歷程，以及最新的GPT-4等前沿技術(shù)。她從他們開源的工作metaGPT展開，展示了如何構(gòu)建多智能體協(xié)作框架，并展望了智能體技術(shù)在簡化人機交互等方面的應(yīng)用前景。這次活動內(nèi)容豐富，對于理解當(dāng)前AI技術(shù)發(fā)展具有重要參考價值。
掘力計劃
掘力計劃由稀土掘金技術(shù)社區(qū)發(fā)起，致力于打造一個高品質(zhì)的技術(shù)分享和交流的系列品牌。聚集國內(nèi)外頂尖的技術(shù)專家、開發(fā)者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術(shù)動態(tài)。(作者：孔恒偉)
