9月9日，掘力計(jì)劃第23期線上分享活動(dòng)以“AIGC的應(yīng)用和創(chuàng)新”為主題召開(kāi)。本次活動(dòng)的分享主題為《metaGPT：讓每個(gè)人擁有專屬智能體》，由深度賦智 NLP & AIGC 方向算法負(fù)責(zé)人洪思睿主講。
洪思睿曾任智能控制上市企業(yè) NLP 團(tuán)隊(duì)負(fù)責(zé)人，負(fù)責(zé)千萬(wàn)級(jí)行業(yè)知識(shí)圖譜及多項(xiàng)自然語(yǔ)言處理技術(shù)的應(yīng)用落地。在深度賦智，她負(fù)責(zé)法律、物流、美妝、電商等多個(gè)領(lǐng)域的知識(shí)問(wèn)答、搜索系統(tǒng)及多模態(tài)應(yīng)用等行業(yè)落地工作。他還開(kāi)源了多智能體框架metaGPT，并在 NeurIPS AutoDL 頂級(jí)競(jìng)賽中獲得世界冠軍，相關(guān)工作及論文發(fā)表于頂級(jí)學(xué)術(shù)期刊《IEEE TPAMI》。
直播回放地址：https://juejin.cn/live/jpowermeetup23
大語(yǔ)言模型發(fā)展歷程
洪思睿首先回顧了大語(yǔ)言模型技術(shù)的發(fā)展歷程，從早期的 CBOW 自監(jiān)督學(xué)習(xí)方法，到 BERT 的雙向編碼器以及 GPT-3 的巨大規(guī)模預(yù)訓(xùn)練，再到最近的 GPT-4，大語(yǔ)言模型取得了巨大的技術(shù)突破。
早期技術(shù)：SSL、Transformer 和 BERT
自2013年起，自然語(yǔ)言理解領(lǐng)域出現(xiàn)了一些新的技術(shù)趨勢(shì)。早在2013年，CBOW 模型就使用了自監(jiān)督學(xué)習(xí)的方法，將詞嵌入到稠密的向量空間中，奠定了后來(lái)語(yǔ)言模型技術(shù)的基礎(chǔ)。2017年，Transformer 模型則通過(guò)引入注意力機(jī)制，改善了 CNN 在長(zhǎng)序列建模方面的困難。隨后在2018年，BERT 的出現(xiàn)則證明了規(guī)?；A(yù)訓(xùn)練對(duì)自然語(yǔ)言理解的巨大提升，只需要在特定下游任務(wù)進(jìn)行微調(diào)就可以取得非常強(qiáng)的效果。具體來(lái)說(shuō)，BERT使用了多層 Transformer 編碼器進(jìn)行預(yù)訓(xùn)練，通過(guò) masked language model 和 next sentence prediction 等任務(wù)獲得了語(yǔ)義理解能力，然后在下游任務(wù)中進(jìn)行微調(diào)從而適應(yīng)特定領(lǐng)域。
GPT-3的預(yù)訓(xùn)練范式
相比 BERT 采用預(yù)訓(xùn)練與微調(diào)相結(jié)合的方法，OpenAI 的 GPT 系列模型更加強(qiáng)調(diào)巨大規(guī)模的單向預(yù)訓(xùn)練。以 GPT-3 為例，它擁有高達(dá) 1750 億參數(shù)，但沒(méi)有進(jìn)行微調(diào)就直接進(jìn)行預(yù)訓(xùn)練并應(yīng)用。GPT-3 證明了更大規(guī)模的模型即使不經(jīng)微調(diào)也可以取得較強(qiáng)的泛化性能。隨著模型規(guī)模的擴(kuò)大，GPT-3 展現(xiàn)出了更強(qiáng)的 Few-Shot 學(xué)習(xí)能力。
Instruction Tuning
在 GPT-3 之后，研究者提出了指令微調(diào)(Instruction Tuning)的訓(xùn)練方法，使用自然語(yǔ)言指令引導(dǎo)模型學(xué)習(xí)，可以進(jìn)一步提升大規(guī)模預(yù)訓(xùn)練語(yǔ)言的數(shù)據(jù)利用能力，增強(qiáng)泛化能力。例如，基于該方法調(diào)優(yōu)后的模型，即使在未見(jiàn)過(guò)的數(shù)據(jù)集上也可以取得更高的準(zhǔn)確率。這為模型帶來(lái)了更好的遷移學(xué)習(xí)能力。
InstructGPT
Instruction Tuning 的idea也被 OpenAI 借鑒到了 InstructGPT 模型中。該模型不僅使用了指令微調(diào)，還利用了基于人類反饋的強(qiáng)化學(xué)習(xí)進(jìn)行來(lái)降低模型輸出的毒性。實(shí)驗(yàn)證明，使用人類反饋進(jìn)行調(diào)優(yōu)后，模型的輸出質(zhì)量可以大幅提升，信息量更大，偏向性和有毒性內(nèi)容更少，更符合人類期待。
GPT-4時(shí)代的到來(lái)
今年3月，OpenAI 發(fā)布了 GPT-4 模型，其規(guī)模達(dá)到了 GPT-3 的 10 倍以上，參數(shù)量高達(dá) 18000 億。為實(shí)現(xiàn)這樣大規(guī)模模型的高效推理，OpenAI 采用了混合專家(Mixture of Experts)技術(shù)。具體來(lái)說(shuō)，GPT-4 包含了 16 個(gè)規(guī)模約為 1110 億參數(shù)的專家模型，每次推理會(huì)調(diào)用 2 個(gè)專家，并在專家之間共享部分權(quán)重。在訓(xùn)練數(shù)據(jù)方面，GPT-4 使用了約 130 萬(wàn)億個(gè)詞元進(jìn)行預(yù)訓(xùn)練，是目前最大規(guī)模的語(yǔ)言模型。為實(shí)現(xiàn)高效訓(xùn)練，OpenAI 采用了多達(dá) 8k 的上下文序列長(zhǎng)度，以及可變序列批處理和流水線等技術(shù)。
GPT-4 的到來(lái)預(yù)示著語(yǔ)言模型技術(shù)已經(jīng)進(jìn)入一個(gè)新的階段，各大企業(yè)和機(jī)構(gòu)也紛紛推出了自己的預(yù)訓(xùn)練語(yǔ)言模型。在模型評(píng)測(cè)領(lǐng)域，MMLU 基準(zhǔn)測(cè)試已經(jīng)成為衡量不同語(yǔ)言模型能力的標(biāo)準(zhǔn)測(cè)試集。各模型在 MMLU 基準(zhǔn)測(cè)試中的排名也成為大家關(guān)注的焦點(diǎn)。
metaGPT：構(gòu)建多智能體框架
在模型技術(shù)日益成熟的背景下，模型的落地應(yīng)用也成為一個(gè)重要方向。洪思睿介紹了他們多智能體框架 metaGPT。該框架可以通過(guò)簡(jiǎn)單的自然語(yǔ)言描述完成完整的軟件開(kāi)發(fā)過(guò)程中的文檔輸出和代碼生成工作。
metaGPT 通過(guò)定義不同的角色，如產(chǎn)品經(jīng)理、架構(gòu)師、工程師等，讓每個(gè)角色負(fù)責(zé)軟件開(kāi)發(fā)過(guò)程中的不同階段，實(shí)現(xiàn)流水線式的協(xié)同工作。具體來(lái)說(shuō)，產(chǎn)品經(jīng)理會(huì)根據(jù)需求輸出產(chǎn)品文檔，架構(gòu)師負(fù)責(zé)設(shè)計(jì)架構(gòu)圖，最后工程師根據(jù)上游輸出進(jìn)行代碼實(shí)現(xiàn)。
實(shí)驗(yàn)證明，metaGPT 生成的代碼質(zhì)量明顯優(yōu)于其他基于智能體框架的代碼生成效果。因?yàn)樯嫌谓巧妮敵鰹橄掠喂こ處熖峁┝送暾纳舷挛男畔ⅲ瑢⒃嫉男枨?任務(wù)進(jìn)行了更細(xì)化和結(jié)構(gòu)化的拆解，減少了歧義，提升了最終代碼的可靠性。在多個(gè)數(shù)據(jù)集上的評(píng)測(cè)也證明了 metaGPT 生成代碼的優(yōu)異性能。
智能體技術(shù)的應(yīng)用前景
洪思睿認(rèn)為，基于大語(yǔ)言模型訓(xùn)練的智能體將會(huì)成為未來(lái)社會(huì)的重要組成部分。未來(lái)的人機(jī)交互范式也會(huì)從嵌入式模式，發(fā)展到輔助模式，再到代理模式，最終達(dá)到人機(jī)深度協(xié)作的社會(huì)化模式。在這個(gè)模式下，人類和智能體既可以自主提出需求，也可以相互提供資源來(lái)完成任務(wù)。
此外，未來(lái)互聯(lián)網(wǎng)的門(mén)戶也將從 App 變成智能體。用戶只需要向單個(gè)或多個(gè)智能體提出需求，由智能體負(fù)責(zé)完成整個(gè)工作流程，包括調(diào)用不同的軟件程序、設(shè)定參數(shù)等。這將極大提升人機(jī)協(xié)同的效率，更進(jìn)一步帶來(lái)生活和工作方式的變革。
總結(jié)
本次分享活動(dòng)洪思睿詳細(xì)介紹了大語(yǔ)言模型技術(shù)的發(fā)展歷程，以及最新的GPT-4等前沿技術(shù)。她從他們開(kāi)源的工作metaGPT展開(kāi)，展示了如何構(gòu)建多智能體協(xié)作框架，并展望了智能體技術(shù)在簡(jiǎn)化人機(jī)交互等方面的應(yīng)用前景。這次活動(dòng)內(nèi)容豐富，對(duì)于理解當(dāng)前AI技術(shù)發(fā)展具有重要參考價(jià)值。
掘力計(jì)劃
掘力計(jì)劃由稀土掘金技術(shù)社區(qū)發(fā)起，致力于打造一個(gè)高品質(zhì)的技術(shù)分享和交流的系列品牌。聚集國(guó)內(nèi)外頂尖的技術(shù)專家、開(kāi)發(fā)者和實(shí)踐者，通過(guò)線下沙龍、閉門(mén)會(huì)、公開(kāi)課等多種形式分享最前沿的技術(shù)動(dòng)態(tài)。(作者：孔恒偉)
