【ITBEAR科技資訊】4月9日消息，近年來，模型規(guī)模不斷擴(kuò)大，一種普遍的信念是“力大磚飛”。
盡管OpenAI沒有公布Sora的訓(xùn)練細(xì)節(jié)，但在其技術(shù)報(bào)告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴(kuò)大視頻生成模型是構(gòu)建通用世界模擬器的有前景途徑。
然而，谷歌最新的研究發(fā)現(xiàn)：并非如此!谷歌研究院和約翰霍普金斯大學(xué)在最新論文中指出：對于潛在擴(kuò)散模型，模型不一定是越大越好。
據(jù)ITBEAR科技資訊了解，關(guān)于縮放定律的爭議一直存在。OpenAI在2020年發(fā)表的論文提出，模型效果與規(guī)模大小、數(shù)據(jù)集大小、計(jì)算量強(qiáng)相關(guān)，而與具體結(jié)構(gòu)弱相關(guān)。
縮放定律不僅適用于語言模型，還適用于其他模態(tài)及跨模態(tài)場景。這一概念的提出使研究人員和開發(fā)者能夠更有效地設(shè)計(jì)模型架構(gòu)，選擇合適的模型大小和數(shù)據(jù)集規(guī)模，以實(shí)現(xiàn)最佳性能。
谷歌最新研究集中在圖像生成模型上，提出對于潛在擴(kuò)散模型，在計(jì)算資源有限時(shí)，增加計(jì)算量應(yīng)該增加數(shù)據(jù)集大小，而不是模型參數(shù)量。
這是否意味著縮放定律失效了?作者的研究表明，在有限的計(jì)算資源下，較小的模型可以優(yōu)于較大的模型;模型大小和訓(xùn)練步驟的選擇需與計(jì)算資源相匹配。
然而，在訓(xùn)練步驟恒定的情況下，大模型仍然具有優(yōu)勢，尤其在處理圖像細(xì)節(jié)方面。
研究者還發(fā)現(xiàn)，不同大小的模型在CFG(Classifier-Free Guidance)技術(shù)下受影響基本相同，這一發(fā)現(xiàn)令人意外。
這項(xiàng)研究探索了模型效率與品質(zhì)之間的最佳平衡，為開發(fā)更高效的圖像生成AI系統(tǒng)提供了指導(dǎo)。這與當(dāng)前AI領(lǐng)域的趨勢相契合，即小型語言模型在多項(xiàng)任務(wù)中超越大型對手，旨在推動AI技術(shù)的民主化。
