據(jù)企查查APP最新披露，騰訊科技（深圳）有限公司近期公布了一項(xiàng)關(guān)于“大語言模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”的專利申請(qǐng)。
該專利的核心在于，其在大語言模型的訓(xùn)練流程中創(chuàng)新性地引入了第一摘要文本與第二摘要文本的概念。這一做法為模型提供了更為豐富的學(xué)習(xí)素材，有效增強(qiáng)了模型的訓(xùn)練效果。值得注意的是，這兩類摘要文本在信息量上存在差異，且第一摘要文本內(nèi)嵌有正確與錯(cuò)誤的語句。通過對(duì)比學(xué)習(xí)同一原文的兩個(gè)不同摘要版本，并精準(zhǔn)區(qū)分第一摘要中的正確與錯(cuò)誤部分，該訓(xùn)練方法有效規(guī)避了因摘要文本單一可能引發(fā)的模型過擬合及生成內(nèi)容不準(zhǔn)確等問題。
這一創(chuàng)新策略不僅顯著提升了大語言模型的泛化能力，即在面對(duì)未見過的數(shù)據(jù)時(shí)也能做出準(zhǔn)確預(yù)測的能力，還進(jìn)一步增強(qiáng)了模型的準(zhǔn)確性，確保了輸出內(nèi)容的可靠性。
此次騰訊科技在大語言模型訓(xùn)練技術(shù)上的突破，無疑為人工智能領(lǐng)域的發(fā)展注入了新的活力，也展現(xiàn)了該公司在技術(shù)創(chuàng)新上的持續(xù)探索與追求。
