9月9日，掘力計(jì)劃第23期線上活動(dòng)舉行，本期活動(dòng)的主題為《AIGC的應(yīng)用和創(chuàng)新》。來(lái)自華為諾亞方舟實(shí)驗(yàn)室的劉衛(wèi)文博士做了題為《利用大語(yǔ)言模型開(kāi)放知識(shí)的通用推薦框架》的分享。
劉衛(wèi)文博士2020年畢業(yè)于香港中文大學(xué)，現(xiàn)任華為諾亞方舟實(shí)驗(yàn)室高級(jí)研究員，主要研究領(lǐng)域?yàn)橥扑]系統(tǒng)、大語(yǔ)言模型和個(gè)性化偏好學(xué)習(xí)。她在本次分享中提出，可以利用大語(yǔ)言模型提供的通用世界知識(shí)和邏輯推理能力，設(shè)計(jì)開(kāi)放的推薦系統(tǒng)框架，以更深入理解用戶行為背后的動(dòng)機(jī)和關(guān)聯(lián)關(guān)系。
直播回放地址：https://juejin.cn/live/jpowermeetup23
一、背景介紹
傳統(tǒng)的推薦系統(tǒng)往往是相對(duì)封閉的系統(tǒng)，僅使用給定推薦場(chǎng)景內(nèi)部的數(shù)據(jù)進(jìn)行訓(xùn)練，對(duì)于用戶偏好和上下文理解不夠全面。本次分享的主題是利用大語(yǔ)言模型的通用世界知識(shí)和邏輯推理能力，設(shè)計(jì)開(kāi)放的推薦系統(tǒng)框架，以更深層次理解用戶行為背后的動(dòng)機(jī)和關(guān)聯(lián)關(guān)系。
二、大語(yǔ)言模型與推薦系統(tǒng)基礎(chǔ)知識(shí)介紹
1、推薦系統(tǒng)基礎(chǔ)知識(shí)
推薦系統(tǒng)已經(jīng)成為人工智能領(lǐng)域商業(yè)價(jià)值最大的應(yīng)用之一。谷歌的廣告推薦系統(tǒng)每年帶來(lái)上百億美元營(yíng)收，占其整體收入90%以上。我們每天也都在使用各類(lèi)推薦系統(tǒng)，如音樂(lè)、新聞、短視頻等 APP都依賴推薦系統(tǒng)根據(jù)我們的興趣給出個(gè)性化推薦。
從技術(shù)角度來(lái)看，一個(gè)推薦系統(tǒng)的輸入主要包括：用戶歷史交互、物品特征、用戶特征。輸出是一個(gè)針對(duì)給定用戶U和物品I的匹配概率或評(píng)分。推薦系統(tǒng)的目標(biāo)是預(yù)測(cè)用戶最可能喜歡的內(nèi)容。
2、大語(yǔ)言模型基礎(chǔ)知識(shí)
大語(yǔ)言模型指通過(guò)在大規(guī)模互聯(lián)網(wǎng)語(yǔ)料上預(yù)訓(xùn)練得到的具有數(shù)十億到千億參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。隨著模型參數(shù)量的增大，這類(lèi)模型會(huì)出現(xiàn)“涌現(xiàn)能力”，包括強(qiáng)大的邏輯推理能力。
大語(yǔ)言模型具有豐富的通用世界知識(shí)和推理能力，可以為相對(duì)封閉的推薦系統(tǒng)提供開(kāi)放的外部信息。將兩者結(jié)合，可以讓推薦系統(tǒng)更深入理解用戶興趣動(dòng)機(jī)和關(guān)聯(lián)關(guān)系。
三、將大語(yǔ)言模型引入推薦系統(tǒng)的方案
將大語(yǔ)言模型引入推薦系統(tǒng)可以分為“在哪引入”和“如何引入”兩個(gè)問(wèn)題。
1、在推薦系統(tǒng)的哪個(gè)階段引入
將推薦系統(tǒng)流程分為四個(gè)階段：數(shù)據(jù)采集、特征工程、特征編碼、打分排序。
在特征工程階段，大語(yǔ)言模型可以通過(guò)用戶歷史行為推斷用戶興趣;通過(guò)理解物品內(nèi)容信息進(jìn)行擴(kuò)充;直接生成樣本數(shù)據(jù)。
在特征編碼階段，大語(yǔ)言模型可以利用文本特征，通過(guò)預(yù)訓(xùn)練的語(yǔ)義表示對(duì)推薦中的用戶評(píng)論、物品名稱等文本信息進(jìn)行編碼。
在打分排序階段，大語(yǔ)言模型可以直接對(duì)物品進(jìn)行評(píng)分;直接生成下一個(gè)推薦物品;或同時(shí)進(jìn)行打分和生成兩個(gè)任務(wù)。
此外，還可以構(gòu)建以大語(yǔ)言模型為核心的推薦系統(tǒng)流程控制器，調(diào)度各個(gè)階段的運(yùn)行。
2、如何更好地應(yīng)用大語(yǔ)言模型
在訓(xùn)練階段，大語(yǔ)言模型是否需要微調(diào)以及推理階段是否需要引入傳統(tǒng)推薦模型，是當(dāng)前的兩大發(fā)展趨勢(shì)：
1、模型：通過(guò)引入傳統(tǒng)推薦模型為語(yǔ)言模型注入?yún)f(xié)同信號(hào);
2、數(shù)據(jù)：通過(guò)引入推薦場(chǎng)景的數(shù)據(jù)，結(jié)合微調(diào)技術(shù)，為語(yǔ)言模型注入?yún)f(xié)同信號(hào)。
理想狀態(tài)是語(yǔ)言模型獲得用戶偏好、領(lǐng)域知識(shí)后自主推理生成推薦，但目前完全依賴大語(yǔ)言模型的效果并不理想。當(dāng)前較優(yōu)策略是與傳統(tǒng)推薦模型協(xié)同，進(jìn)行知識(shí)遷移和微調(diào)。
四、挑戰(zhàn)與展望
在工業(yè)場(chǎng)景大規(guī)模應(yīng)用大語(yǔ)言模型進(jìn)行推薦還面臨挑戰(zhàn)：
1、如何更好地融合語(yǔ)言模型與推薦系統(tǒng)中編碼的協(xié)同信息
2、輸入文本的窗口長(zhǎng)度限制
3、ID 編碼引入的困難
4、多模態(tài)輸入的利用
此外，大語(yǔ)言模型推理效率需要進(jìn)一步優(yōu)化。
展望未來(lái)，大語(yǔ)言模型將從三個(gè)層面改變推薦系統(tǒng)：
1、數(shù)據(jù)：利用開(kāi)放世界知識(shí)
2、模型：向生成式推薦轉(zhuǎn)變
3、流程：由語(yǔ)言模型統(tǒng)一調(diào)度
大語(yǔ)言模型將成為推薦系統(tǒng)發(fā)展的新方向。
綜上，劉博士的報(bào)告系統(tǒng)地介紹了大語(yǔ)言模型在推薦系統(tǒng)中的應(yīng)用點(diǎn)和運(yùn)用方法，并提出了一種知識(shí)增強(qiáng)框架，為工業(yè)場(chǎng)景中的大規(guī)模應(yīng)用提供了有價(jià)值的指導(dǎo)意見(jiàn)。大語(yǔ)言模型與推薦系統(tǒng)的結(jié)合充分利用了兩者的優(yōu)勢(shì)，必將推動(dòng)推薦系統(tǒng)向開(kāi)放世界的方向發(fā)展。
掘力計(jì)劃
掘力計(jì)劃由稀土掘金技術(shù)社區(qū)發(fā)起，致力于打造一個(gè)高品質(zhì)的技術(shù)分享和交流的系列品牌。聚集國(guó)內(nèi)外頂尖的技術(shù)專家、開(kāi)發(fā)者和實(shí)踐者，通過(guò)線下沙龍、閉門(mén)會(huì)、公開(kāi)課等多種形式分享最前沿的技術(shù)動(dòng)態(tài)。
