【ITBEAR科技資訊】5月17日消息，谷歌在其I/O開發(fā)者大會上發(fā)布了最新的通用大語言模型PaLM2。據(jù)ITBEAR科技資訊了解，該模型的訓(xùn)練數(shù)據(jù)幾乎是其上一代模型的5倍，達到了3.6萬億個令牌。PaLM2在編程、數(shù)學(xué)和創(chuàng)意寫作方面表現(xiàn)更為優(yōu)秀，得益于其龐大的訓(xùn)練數(shù)據(jù)。
谷歌此次發(fā)布的PaLM2模型采用了比之前版本多得多的令牌進行訓(xùn)練。令牌是指訓(xùn)練大語言模型所使用的單詞串，它們對于教導(dǎo)模型如何預(yù)測字符串中可能出現(xiàn)的下一個單詞至關(guān)重要。內(nèi)部文件顯示，2022年發(fā)布的上一代模型PaLM僅使用了7800億個令牌，而PaLM2則提升到了3.6萬億個令牌。
盡管谷歌希望展示其人工智能技術(shù)的實力，并在搜索、電子郵件、字處理和電子表格等領(lǐng)域?qū)崿F(xiàn)更高效的應(yīng)用，但該公司并未公開披露訓(xùn)練數(shù)據(jù)的具體規(guī)模和其他細節(jié)。與谷歌類似，微軟支持的OpenAI也對其最新的GPT-4大語言模型保密了細節(jié)信息。這兩家公司之所以保密，是因為它們都希望吸引那些希望通過聊天機器人直接獲取答案的用戶，從而在商業(yè)競爭中占據(jù)優(yōu)勢。
然而，隨著人工智能軍備競賽的白熱化，一些研究人員呼吁企業(yè)增加透明度。雖然谷歌聲稱新模型比之前的大語言模型更小，但其技術(shù)效率卻得到提升，能夠完成更復(fù)雜的任務(wù)。根據(jù)內(nèi)部文件顯示，PaLM2是基于3400億個參數(shù)進行訓(xùn)練的，而初始版本的PaLM則基于5400億個參數(shù)。
據(jù)谷歌在一篇關(guān)于PaLM2的博文中介紹，該模型采用了一種名為“計算機優(yōu)化擴張”的新技術(shù)，使得大語言模型具備更高的效率和整體性能，包括加快推理速度、減少參數(shù)調(diào)用和降低服務(wù)成本。
此次發(fā)布的PaLM2模型針對100種語言進行了訓(xùn)練，能夠執(zhí)行更廣泛的任務(wù)，并已被應(yīng)用于谷歌的25個功能和產(chǎn)品，包括實驗性聊天機器人Bard。PaLM2共有四個規(guī)模，從小到大分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨角獸(Unicorn)。
根據(jù)公開披露的信息來看，PaLM2比現(xiàn)有的任何模型都更加強大。Facebook在今年2月宣布的LLaMA大語言模型僅采用了1.4萬億個令牌進行訓(xùn)練。而OpenAI在披露GPT-3訓(xùn)練規(guī)模時表示，其當(dāng)時基于3000億個令牌進行訓(xùn)練。今年3月，OpenAI發(fā)布GPT-4時宣稱其在許多專業(yè)測試中展示出與人類媲美的表現(xiàn)。
LaMDA是谷歌兩年前推出的對話型大語言模型，今年2月與Bard一同亮相。該模型基于1.5萬億個令牌進行訓(xùn)練。
隨著新的人工智能應(yīng)用快速進入主流，圍繞底層技術(shù)的爭議也日益激烈。谷歌高級研究科學(xué)家艾爾·邁赫迪·艾爾·麥哈麥迪(El Mahdi El Mhamdi)今年2月辭職，其中一個主要原因是人工智能技術(shù)缺乏透明度。本周二，OpenAI的CEO山姆·阿爾特曼(Sam Altman)在美國國會舉行的隱私和技術(shù)聽證會上表示，我們需要建立一套新的制度來應(yīng)對人工智能潛在的問題。
阿爾特曼說：“對于一種全新的技術(shù)，我們需要一套全新的框架。當(dāng)然，像我們這樣的公司應(yīng)當(dāng)為我們推出的工具承擔(dān)許多責(zé)任?！?/p>
