【ITBEAR科技資訊】9月3日消息,近日,有關(guān)人士透露,DeepMind的聯(lián)合創(chuàng)始人Suleyman在接受采訪時(shí)表示,目前正在秘密訓(xùn)練GPT-5,預(yù)計(jì)該模型的規(guī)模將比目前的GPT-4大100倍。
據(jù)了解,盡管之前OpenAI的CEO Sam Altman否認(rèn)了GPT-5的訓(xùn)練計(jì)劃,但有消息人士指出,OpenAI可能已經(jīng)為該模型起了一個(gè)新的名稱,這也解釋了他們此前的否認(rèn)。
Suleyman目前擔(dān)任Inflection AI的CEO,該公司正在致力于建造世界上最大的超級(jí)計(jì)算機(jī)之一。他表示,在未來的18個(gè)月內(nèi),他們有可能會(huì)進(jìn)行一次比制造GPT-4時(shí)規(guī)模大10倍甚至100倍的語言模型訓(xùn)練運(yùn)行。
今年3月份,GPT-4正式發(fā)布,其相比最初的GPT-3.5模型,在幾個(gè)方面取得了重大進(jìn)展。該模型不僅在識(shí)圖能力方面取得了強(qiáng)大的突破,還將文字輸入限制提升至2.5萬字,回答準(zhǔn)確性也得到顯著提升。此外,GPT-4還能夠生成歌詞、創(chuàng)意文本,并實(shí)現(xiàn)多樣的風(fēng)格變化。
根據(jù)分析,GPT-4擁有約1.8萬億的參數(shù),相當(dāng)于GPT-3.5的10倍規(guī)模,其中包括16個(gè)專家模型,每個(gè)MLP專家模型擁有約1110億個(gè)參數(shù)。而據(jù)估計(jì),如果按照相同的比例來提升,GPT-5可能將突破10萬億的參數(shù)規(guī)模,成為迄今為止最大規(guī)模的人工智能大模型,超越其他競爭對(duì)手。