【ITBEAR科技資訊】6月27日消息，據(jù)了解，微軟近日發(fā)布了一款名為phi-1的語言模型，該模型擁有13億參數(shù)。與傳統(tǒng)認(rèn)知不同的是，該模型證明了模型參數(shù)的數(shù)量并不是決定性因素，更重要的是訓(xùn)練數(shù)據(jù)的質(zhì)量。phi-1采用了高品質(zhì)的數(shù)據(jù)集進(jìn)行訓(xùn)練，包括網(wǎng)絡(luò)上的教科書級別數(shù)據(jù)以及經(jīng)過邏輯嚴(yán)謹(jǐn)處理的內(nèi)容，訓(xùn)練過程只用了短短的4天時間。
微軟團(tuán)隊表示，相較于增加模型的參數(shù)量，提高訓(xùn)練數(shù)據(jù)集的質(zhì)量或許能更有效地提升模型的準(zhǔn)確性和效能。通過這一理念，他們成功地訓(xùn)練出了phi-1模型。在測試中，phi-1取得了50.6%的分?jǐn)?shù)，表現(xiàn)優(yōu)于擁有1750億參數(shù)的GPT 3.5(47%)。
微軟還表示，phi-1模型將在HuggingFace平臺上進(jìn)行開源。值得一提的是，這不是微軟首次開發(fā)小型語言模型，此前他們已經(jīng)推出了一款擁有130億參數(shù)的Orca模型，該模型采用了GPT-4合成的數(shù)據(jù)進(jìn)行訓(xùn)練，并且表現(xiàn)也優(yōu)于ChatGPT等模型。
目前，phi-1的相關(guān)論文已經(jīng)發(fā)布在arXiv上，感興趣的讀者可以在該平臺上找到論文的詳細(xì)內(nèi)容。微軟的這一研究成果引起了廣泛的關(guān)注，為未來語言模型的發(fā)展帶來了新的思路和可能性。
