【ITBEAR科技資訊】10月9日消息，近日財聯(lián)社曝出百度的文心大模型 4.0 正在積極進行訓練，并且已經(jīng)接近可發(fā)布的狀態(tài)。今天，我們進一步了解到文心 4.0 的更多細節(jié)，包括底層架構、基礎設施、訓練數(shù)據(jù)集和成本等重要信息。
根據(jù)我們的了解，文心大模型 4.0 已經(jīng)進行了小流量測試，證實了昨天的爆料。這一模型的參數(shù)規(guī)模大于目前所有已經(jīng)公開發(fā)布的大語言模型(LLM)，這意味著文心 4.0 的參數(shù)規(guī)模預計將突破萬億級別的巨大數(shù)字。
文心 4.0 仍然是一個單一模型，而不是采用了混合專家模型(MoE)的方式，這與一些其他大型語言模型(如GPT-4)不同。之前有消息稱，GPT-4 采用混合模型是因為無法讓單一模型的參數(shù)規(guī)模超過2200億。因此，百度能否在單一模型上取得突破，以及模型能力是否會有明顯提升，這需要等待真正發(fā)布后才能確定。
對于如此龐大的參數(shù)模型，它對算力的要求顯然不小。據(jù)我們了解，文心 4.0 是在萬卡 AI 集群上訓練出來的，這也標志著它是國內首個使用萬卡規(guī)模集群進行訓練的大語言模型。目前，國內僅有華為和阿里透露已建成萬卡 AI 集群，但尚未公布具體的模型基于該集群的應用。
這也表明，萬卡集群的建設并不容易，而要充分發(fā)揮其潛力更加具有挑戰(zhàn)性。我們分析認為，這可能是百度飛槳深度聯(lián)合技術的功勞，使得文心大模型 4.0 可以在萬卡集群上成功訓練如此龐大的模型。
與此同時，除了訓練成本增加外，文心 4.0 的推理成本也大幅上升，據(jù)傳言可能達到之前的8-10倍，尤其在高利用率情況下。如果利用率更低，成本可能還會進一步上升。
根據(jù)內部員工的消息，百度已經(jīng)秘密進行了小流量測試文心大模型 4.0，部分文心一言用戶已經(jīng)在使用最新的模型版本。最快將在下周正式發(fā)布。這一說法得到了一些技術社區(qū)爆料的佐證。因此，如果你正在使用文心一言，并且感覺到與GPT-4相當，可能你已經(jīng)在使用文心大模型 4.0。不過，需要強調的是，以上信息并未得到官方確認，大家仍需謹慎對待其準確性。
