【ITBEAR科技資訊】07月13日消息，外媒Semianalysis最近對(duì)OpenAI于今年3月發(fā)布的GPT-4大模型進(jìn)行了深度揭秘。據(jù)他們透露，GPT-4在架構(gòu)和參數(shù)方面有著顯著的提升，以及采用了混合專(zhuān)家模型(Mixture of Experts)的構(gòu)建方式。
據(jù)悉，GPT-4采用了混合專(zhuān)家模型，這種模型利用數(shù)據(jù)進(jìn)行訓(xùn)練，將多個(gè)模型分別訓(xùn)練后，將它們的輸出整合為一個(gè)單獨(dú)的任務(wù)。為了保持合理的成本，OpenAI選擇了這種方式進(jìn)行構(gòu)建。GPT-4總共有120層，包含了1.8萬(wàn)億個(gè)參數(shù)，相比之下，GPT-3只有約1750億個(gè)參數(shù)，可見(jiàn)其在規(guī)模上的巨大提升。
GPT-4使用了16個(gè)混合專(zhuān)家模型，每個(gè)模型擁有1110億個(gè)參數(shù)，并且每次前向傳遞路由都會(huì)經(jīng)過(guò)兩個(gè)專(zhuān)家模型。此外，它還擁有550億個(gè)共享注意力參數(shù)。為了進(jìn)行訓(xùn)練，OpenAI使用了一個(gè)包含13萬(wàn)億個(gè)tokens的數(shù)據(jù)集，這些tokens并非唯一，而是根據(jù)迭代次數(shù)計(jì)算出更多的tokens。
據(jù)ITBEAR科技資訊了解，GPT-4在預(yù)訓(xùn)練階段的上下文長(zhǎng)度為8k，32k版本則是對(duì)8k版本的微調(diào)結(jié)果。然而，GPT-4的訓(xùn)練成本非常高昂。根據(jù)外媒報(bào)道，即使使用了8倍H100物理機(jī)，也無(wú)法以每秒33.33個(gè)token的速度提供所需的密集參數(shù)模型。據(jù)估算，一次GPT-4的訓(xùn)練成本高達(dá)6300萬(wàn)美元(約4.51億元人民幣)。
為了降低訓(xùn)練成本，OpenAI選擇在云端使用A100 GPU進(jìn)行模型訓(xùn)練，最終將訓(xùn)練成本降低至大約2150萬(wàn)美元(約1.54億元人民幣)，盡管需要更長(zhǎng)的時(shí)間來(lái)完成訓(xùn)練過(guò)程。這一舉措在一定程度上減輕了訓(xùn)練成本的壓力。
