【ITBEAR科技資訊】9月3日消息，近日，有關(guān)人士透露，DeepMind的聯(lián)合創(chuàng)始人Suleyman在接受采訪時(shí)表示，目前正在秘密訓(xùn)練GPT-5，預(yù)計(jì)該模型的規(guī)模將比目前的GPT-4大100倍。
據(jù)了解，盡管之前OpenAI的CEO Sam Altman否認(rèn)了GPT-5的訓(xùn)練計(jì)劃，但有消息人士指出，OpenAI可能已經(jīng)為該模型起了一個(gè)新的名稱，這也解釋了他們此前的否認(rèn)。
Suleyman目前擔(dān)任Inflection AI的CEO，該公司正在致力于建造世界上最大的超級(jí)計(jì)算機(jī)之一。他表示，在未來的18個(gè)月內(nèi)，他們有可能會(huì)進(jìn)行一次比制造GPT-4時(shí)規(guī)模大10倍甚至100倍的語言模型訓(xùn)練運(yùn)行。
今年3月份，GPT-4正式發(fā)布，其相比最初的GPT-3.5模型，在幾個(gè)方面取得了重大進(jìn)展。該模型不僅在識(shí)圖能力方面取得了強(qiáng)大的突破，還將文字輸入限制提升至2.5萬字，回答準(zhǔn)確性也得到顯著提升。此外，GPT-4還能夠生成歌詞、創(chuàng)意文本，并實(shí)現(xiàn)多樣的風(fēng)格變化。
根據(jù)分析，GPT-4擁有約1.8萬億的參數(shù)，相當(dāng)于GPT-3.5的10倍規(guī)模，其中包括16個(gè)專家模型，每個(gè)MLP專家模型擁有約1110億個(gè)參數(shù)。而據(jù)估計(jì)，如果按照相同的比例來提升，GPT-5可能將突破10萬億的參數(shù)規(guī)模，成為迄今為止最大規(guī)模的人工智能大模型，超越其他競爭對(duì)手。
