當(dāng)下，大語(yǔ)言模型熱度空前，諸如文心一言、ChatGPT等已經(jīng)能夠與人對(duì)話(huà)互動(dòng)、回答問(wèn)題、協(xié)助創(chuàng)作，逐漸應(yīng)用于人們的工作和生活，也引發(fā)了社會(huì)熱議。近日，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰再次做客CCTV-2 《中國(guó)經(jīng)濟(jì)大講堂》，闡釋文心一言這類(lèi)大語(yǔ)言模型的產(chǎn)品能力、技術(shù)原理和產(chǎn)業(yè)價(jià)值。
文心一言讀書(shū)破萬(wàn)億，五大能力業(yè)內(nèi)領(lǐng)先
人工智能時(shí)代，IT技術(shù)?？煞譃椤靶酒瑢印⒖蚣軐?、模型層和應(yīng)用層”，百度是全球?yàn)閿?shù)不多、進(jìn)行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學(xué)習(xí)平臺(tái)、文心大模型到應(yīng)用，在技術(shù)棧的每一層，都有領(lǐng)先的關(guān)鍵自研技術(shù)，實(shí)現(xiàn)了層與層反饋，端到端優(yōu)化，大幅提升效率。文心一言是百度人工智能多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成，尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。
王海峰強(qiáng)調(diào)，文心一言完全是百度自主研發(fā)的大語(yǔ)言模型。百度早在2019年就發(fā)布文心大模型ERNIE 1.0，經(jīng)過(guò)近4年研發(fā)和迭代，文心大模型已經(jīng)形成了產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型技術(shù)體系，包括自然語(yǔ)言處理、視覺(jué)、跨模態(tài)、生物計(jì)算、行業(yè)大模型，以及支撐大模型應(yīng)用的工具平臺(tái)，蘊(yùn)含了大量百度自主創(chuàng)新、并且在大規(guī)模產(chǎn)業(yè)應(yīng)用中得到驗(yàn)證的技術(shù)。其中有些關(guān)鍵技術(shù)已申請(qǐng)專(zhuān)利或者發(fā)表論文，還有一些相關(guān)技術(shù)也已開(kāi)源開(kāi)放。
文心一言是大語(yǔ)言模型的典型代表。王海峰以“讀書(shū)破萬(wàn)卷，下筆如有神”為例，解讀了大語(yǔ)言模型從海量數(shù)據(jù)中學(xué)習(xí)，就相當(dāng)于讀了萬(wàn)億卷書(shū)籍，吸收了萬(wàn)億知識(shí)，做到了理解，在此基礎(chǔ)上，就可以按照用戶(hù)的需求去生成文案、回答問(wèn)題、完成總結(jié)分析了。
關(guān)于 “文心一言”名字由來(lái)，王海峰做了具體闡釋?zhuān)骸拔摹笔钦Z(yǔ)言文字，“心”是用心理解，“文心”指致力于理解和運(yùn)用語(yǔ)言文字的自然語(yǔ)言理解模型，同時(shí)也呼應(yīng)了《文心雕龍》，寓意用雕縷龍紋一樣精細(xì)的功夫去研究語(yǔ)言文字的內(nèi)涵和魅力;“一言”既有“一言為定、一言九鼎”的寓意，也有對(duì)人機(jī)之間“你一言我一語(yǔ)”流暢溝通的殷切期盼。文心“一言”既出，即可“一生二、二生三、三生萬(wàn)言”。
現(xiàn)場(chǎng)還展示了文心一言的文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、推理計(jì)算、中文理解和多模態(tài)生成等能力。在文學(xué)創(chuàng)作方面，文心一言不僅可以撰寫(xiě)《流浪地球2》的影評(píng)文案，還可以創(chuàng)作朋友圈配圖，并續(xù)寫(xiě)《流浪地球3》的后續(xù)劇情;在商業(yè)文案創(chuàng)作方面，文心一言幫助想開(kāi)店的創(chuàng)業(yè)者做好籌備工作，比如調(diào)研北京中關(guān)村3公里范圍內(nèi)辦公人群口味偏好、設(shè)計(jì)店名、創(chuàng)作宣傳語(yǔ)和藏頭詩(shī)，以及收集匯總創(chuàng)立餐飲店涉及的政府部門(mén)與相關(guān)流程手續(xù);在推理計(jì)算方面，文心一言可以準(zhǔn)確計(jì)算復(fù)雜的數(shù)學(xué)問(wèn)題，先理解問(wèn)題，再通過(guò)思維鏈推理，最后生成答案;在中文理解方面，文心一言可以準(zhǔn)確解答“日照香爐生紫煙，遙看瀑布掛前川”詩(shī)句是哪里的自然景象及其背后的物理現(xiàn)象;在多模態(tài)生成方面，文心一言可以準(zhǔn)確回答中國(guó)古詩(shī)的相關(guān)問(wèn)題，并制表、作畫(huà)，用方言朗讀。
六大核心技術(shù)加持，文心一言落地水到渠成
文心一言是文心大模型家族的新成員，在文心知識(shí)增強(qiáng)大模型ERNIE及對(duì)話(huà)大模型PLATO的基礎(chǔ)上研發(fā)，基于飛槳深度學(xué)習(xí)平臺(tái)訓(xùn)練和部署，其關(guān)鍵技術(shù)包括，有監(jiān)督精調(diào)、人類(lèi)反饋的強(qiáng)化學(xué)習(xí)、提示、知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話(huà)增強(qiáng)。前三項(xiàng)是這類(lèi)大語(yǔ)言模型都會(huì)采用的技術(shù)，在ERNIE和PLATO模型中已經(jīng)有應(yīng)用和積累，文心一言中又進(jìn)行了進(jìn)一步強(qiáng)化和打磨，做到了更懂中文、更懂中國(guó)文化、更懂中國(guó)的使用場(chǎng)景;后三項(xiàng)則是百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，也是文心一言越來(lái)越強(qiáng)大的技術(shù)底氣。
王海峰以老師教學(xué)生為例，深入淺出地解讀了大語(yǔ)言模型背后的技術(shù)原理。預(yù)訓(xùn)練大模型像博覽群書(shū)的學(xué)生，記住了很多知識(shí)，但需要老師來(lái)指導(dǎo)如何運(yùn)用，而有監(jiān)督精調(diào)就是老師在教學(xué)生，將提煉出來(lái)的知識(shí)要點(diǎn)、典型范例等教給模型，讓它知道該如何符合人類(lèi)規(guī)范、習(xí)慣和價(jià)值觀(guān)，去執(zhí)行相應(yīng)動(dòng)作，生成相應(yīng)內(nèi)容。文心一言訓(xùn)練了獎(jiǎng)勵(lì)模型，為每次輸出的結(jié)果打分并給到反饋，進(jìn)行強(qiáng)化學(xué)習(xí)，隨著真實(shí)用戶(hù)的反饋越來(lái)越多，文心一言的效果會(huì)越來(lái)越好，能力越來(lái)越強(qiáng)，進(jìn)步“一日千里”。此外，文心一言還融合了不同類(lèi)型數(shù)據(jù)和知識(shí)，自動(dòng)構(gòu)造提示，包括實(shí)例、提綱、規(guī)范、知識(shí)點(diǎn)和思維鏈等，提供了豐富的參考信息，激發(fā)模型相關(guān)知識(shí)，生成高質(zhì)量結(jié)果。
對(duì)于百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，王海峰也做了進(jìn)一步解讀。在知識(shí)增強(qiáng)方面，知識(shí)是人類(lèi)認(rèn)識(shí)和改造世界的智慧結(jié)晶。百度構(gòu)建了5500億事實(shí)的知識(shí)圖譜。文心一言基于龐大的知識(shí)圖譜來(lái)做知識(shí)增強(qiáng)，從海量數(shù)據(jù)和大規(guī)模知識(shí)中融合學(xué)習(xí)，還可以直接調(diào)用知識(shí)圖譜做知識(shí)推理，自動(dòng)構(gòu)建提示，高效滿(mǎn)足用戶(hù)需求。在知識(shí)的指導(dǎo)下，文心一言如同站在巨人的肩膀上，學(xué)得又好又快，模型效率和效果均大幅提升。
在檢索增強(qiáng)方面，百度擁有世界上最大的中文搜索引擎，百度搜索已經(jīng)發(fā)展到基于語(yǔ)義理解和匹配的新一代搜索架構(gòu)，深入理解用戶(hù)需求和網(wǎng)頁(yè)內(nèi)容，進(jìn)行語(yǔ)義匹配，得到更精準(zhǔn)的搜索結(jié)果，進(jìn)而為大模型提供準(zhǔn)確率高、時(shí)效性強(qiáng)的參考信息，更好地滿(mǎn)足用戶(hù)需求。
在對(duì)話(huà)增強(qiáng)方面，基于對(duì)話(huà)技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對(duì)話(huà)規(guī)劃能力，實(shí)現(xiàn)更好的對(duì)話(huà)連貫性、合理性和邏輯性。百度深耕對(duì)話(huà)技術(shù)多年，取得了國(guó)際領(lǐng)先的技術(shù)成果，榮獲中國(guó)專(zhuān)利金獎(jiǎng)、吳文俊人工智能科技進(jìn)步特等獎(jiǎng)等，為文心一言的成功研發(fā)奠定了基礎(chǔ)。
文心一言普惠千行百業(yè)，加速產(chǎn)業(yè)智能化變革
大語(yǔ)言模型的飛速發(fā)展已經(jīng)引起社會(huì)熱議，對(duì)于工作崗位替代、教育模式變革、人工智能安全等問(wèn)題，王海峰也給出了解答。
他表示，文心一言這樣的人工智能技術(shù)，本質(zhì)上是提升生產(chǎn)力的工具，可以替代人類(lèi)完成一些工作，但同時(shí)也會(huì)創(chuàng)造更多工作機(jī)會(huì)，使人類(lèi)可以去做更具創(chuàng)造力的工作。正如人類(lèi)歷史上任何一次科技革命和產(chǎn)業(yè)變革都會(huì)帶來(lái)一些工作被替代，同時(shí)創(chuàng)造了更多新的工作機(jī)會(huì)。在教育模式的轉(zhuǎn)變上，“死記硬背”已經(jīng)落伍，教育將與時(shí)俱進(jìn)，向激發(fā)靈感、培養(yǎng)創(chuàng)造力的方向轉(zhuǎn)變。
在人工智能安全性方面，百度堅(jiān)定遵守相關(guān)法律法規(guī)和倫理規(guī)范，專(zhuān)門(mén)配備了相應(yīng)監(jiān)督機(jī)制和管理機(jī)制，從各個(gè)環(huán)節(jié)做好安全問(wèn)題。在文心一言的開(kāi)發(fā)過(guò)程中，從最初的數(shù)據(jù)的采集、處理，模型的訓(xùn)練，到最后的使用過(guò)程，構(gòu)筑了五道安全防線(xiàn)。百度也成立了數(shù)據(jù)管理委員會(huì)，還與社會(huì)各界共同合作，不斷完善相關(guān)政策、規(guī)則，強(qiáng)化人工智能安全。關(guān)于人工智能是否會(huì)控制人類(lèi)，王海峰強(qiáng)調(diào)，就像人造地球衛(wèi)星永遠(yuǎn)也不會(huì)和月球這樣的自然衛(wèi)星畫(huà)等號(hào)一樣，人工智能永遠(yuǎn)也不會(huì)直接跟人類(lèi)的智能完全畫(huà)等號(hào)，研究人工智能是在研究用技術(shù)手段來(lái)模擬、延伸和拓展人的智能，最終目的是為人類(lèi)帶來(lái)更先進(jìn)的科技，服務(wù)于人類(lèi)更美好的生活和社會(huì)的發(fā)展。
當(dāng)下，人工智能已經(jīng)成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量，而深度學(xué)習(xí)作為人工智能的核心技術(shù)，具備很強(qiáng)的通用性，呈現(xiàn)出標(biāo)準(zhǔn)化、自動(dòng)化、模塊化的工業(yè)大生產(chǎn)特征，推動(dòng)人工智能進(jìn)入工業(yè)大生產(chǎn)階段。大模型具有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化的特點(diǎn)，正在成為人工智能技術(shù)及應(yīng)用的新基座。但與此同時(shí)，大模型研發(fā)門(mén)檻高、難度大，依賴(lài)算法、算力和數(shù)據(jù)綜合支撐，產(chǎn)業(yè)化面臨挑戰(zhàn)：模型體積大，訓(xùn)練難度高;算力規(guī)模大，性能要求高;數(shù)據(jù)規(guī)模大，數(shù)據(jù)質(zhì)量參差不齊。
如何實(shí)現(xiàn)大模型產(chǎn)業(yè)化?王海峰表示，類(lèi)似芯片代工廠(chǎng)的模式，具有算法、算力和數(shù)據(jù)綜合優(yōu)勢(shì)的企業(yè)，可以將模型生產(chǎn)的復(fù)雜過(guò)程封裝起來(lái)，通過(guò)低門(mén)檻、高效率的生產(chǎn)平臺(tái)，為千行百業(yè)提供大模型服務(wù)。未來(lái)，文心一言這類(lèi)大語(yǔ)言模型會(huì)成為一個(gè)通用的賦能平臺(tái)，金融、能源、媒體、政務(wù)等各行各業(yè)，都可以基于文心一言實(shí)現(xiàn)智能化變革，提高效率，創(chuàng)造巨大的商業(yè)價(jià)值。期待社會(huì)各界積極擁抱新技術(shù)，共同努力，實(shí)現(xiàn)高水平科技自立自強(qiáng)，為經(jīng)濟(jì)高質(zhì)量增長(zhǎng)帶來(lái)更多動(dòng)能。
