騰訊科技（深圳）有限公司在人工智能領(lǐng)域的又一重大突破于近日揭曉，其申請的“大語言模型訓(xùn)練新法及配套設(shè)施”專利于2月7日正式對外公布。此專利通過引入一種創(chuàng)新的對比學(xué)習(xí)機(jī)制，在大語言模型訓(xùn)練中巧妙利用多重摘要文本，實(shí)現(xiàn)了模型泛化能力與生成準(zhǔn)確性的顯著提升，為AI語言處理技術(shù)開啟了新的探索路徑。
具體而言，騰訊的新專利創(chuàng)造性地設(shè)計了“第一摘要文本”與“第二摘要文本”的概念，兩者在信息量和內(nèi)容構(gòu)成上均有所不同，其中第一摘要文本還特別包含了正確與錯誤語句的混合。模型在學(xué)習(xí)過程中，通過對這兩種摘要的對比分析，能夠更有效地識別并區(qū)分正確與錯誤的表達(dá)方式，同時顯著降低了因單一數(shù)據(jù)源而引發(fā)的過擬合風(fēng)險。這一設(shè)計不僅極大地豐富了模型的學(xué)習(xí)維度，還通過動態(tài)調(diào)整策略，進(jìn)一步優(yōu)化了生成結(jié)果的準(zhǔn)確性和可靠性。
騰訊的這一創(chuàng)新之舉與近年來對比學(xué)習(xí)在文本摘要領(lǐng)域的廣泛應(yīng)用趨勢不謀而合。先前的研究已經(jīng)表明，通過構(gòu)造正負(fù)樣本并調(diào)整模型表示空間，對比學(xué)習(xí)在提升摘要質(zhì)量、緩解暴露偏差等方面取得了顯著成效。騰訊此次將對比學(xué)習(xí)框架成功融入大語言模型的訓(xùn)練中，無疑是對該技術(shù)應(yīng)用邊界的又一次重要拓展。
有業(yè)內(nèi)人士分析指出，騰訊的這項(xiàng)專利通過構(gòu)建多樣化的摘要文本及高效的對比學(xué)習(xí)機(jī)制，為模型提供了一個更加貼近實(shí)際應(yīng)用場景的學(xué)習(xí)環(huán)境。這對于智能客服、內(nèi)容生成等需要高精度輸出的領(lǐng)域來說，具有極其重要的實(shí)踐意義。該技術(shù)還有望加速大模型在實(shí)際應(yīng)用中的落地進(jìn)程。例如，在短文本對話場景中，騰訊此前已推出的基于混合注意力機(jī)制的對話模型專利，若能與這一新的訓(xùn)練方法相結(jié)合，無疑將進(jìn)一步提升回復(fù)的相關(guān)性和豐富性，為用戶帶來更加自然流暢的交互體驗(yàn)。
回顧騰訊近年來在大語言模型領(lǐng)域的布局，從2023年的微調(diào)方法專利到此次訓(xùn)練框架的創(chuàng)新，每一步都彰顯了其在人工智能全鏈條技術(shù)領(lǐng)域的深厚積累和前瞻視野。騰訊正以其不懈的努力和持續(xù)的創(chuàng)新，推動AI語言處理技術(shù)不斷向前發(fā)展。
