ITBear旗下自媒體矩陣:

AI情感分析能力受認可,Soul App多模態(tài)情感識別研究成果被國際頂會錄用

   時間:2024-08-19 15:22:43 來源:ITBEAR編輯:茹茹 發(fā)表評論無障礙通道

近日,ACM國際多媒體會議(ACM International Conference on Multimedia,ACM MM 2024)上組織的多模態(tài)與可靠性情感計算研討會MRAC 24(Multimodal, Generative and Responsible Affective Computing 2024)公布論文接收結(jié)果,社交平臺Soul App研究成果《Multimodal Emotion Recognition with Vision-language Prompting and Modality Dropout》(基于視覺語言提示與模態(tài)暫退的多模態(tài)情感識別)成功入選。

作為較早思考將AI應(yīng)用于社交領(lǐng)域的平臺,Soul積極推動AI情感互動能力的研究,目前相關(guān)技術(shù)已應(yīng)用于異世界回響、AI茍蛋、群聊派對等AI陪伴、AI輔助的創(chuàng)新場景。此次入選也意味著,繼其推出的AI應(yīng)用/功能得到的用戶認可之后,Soul的底層技術(shù)能力建設(shè)和布局方向也得到了行業(yè)和學(xué)界的認可。

近年來,情感計算一直都是人工智能方向研究活躍的領(lǐng)域。在多媒體處理、分析與計算領(lǐng)域最具影響力的國際頂級會議,同時也是中國計算機學(xué)會推薦的多媒體領(lǐng)域A類國際學(xué)術(shù)會議 ——ACM(國際多媒體會議)上專門舉辦多模態(tài)與可靠性情感計算研討會(MRAC24),正是源于學(xué)術(shù)領(lǐng)域?qū)η楦杏嬎阍谌藱C交互領(lǐng)域發(fā)展、實際應(yīng)用的關(guān)注,因此吸引了眾多知名高校、學(xué)者、科技企業(yè)的目光。

不久前,人工智能領(lǐng)域頂級的國際學(xué)術(shù)會議之一國際人工智能聯(lián)合會議(International Joint Conference on Artificial Intelligence,IJCAI)上組織的多模態(tài)情感識別挑戰(zhàn)賽MER24同樣也是情感計算在當下備受關(guān)注的一個縮影。由來自清華大學(xué)、中國科學(xué)院自動化研究所、帝國理工學(xué)院、奧盧大學(xué)、南洋理工大學(xué)等高校的多位專家學(xué)者發(fā)起的MER24上,設(shè)置了SEMI(半監(jiān)督學(xué)習(xí))、NOISE(噪聲魯棒性)、OV(開放式詞匯情緒識別)三個賽道,共有來自知名高校、科技企業(yè)等近百支隊伍參賽。其中,Soul語音技術(shù)團隊憑借平臺扎實的技術(shù)能力積累和創(chuàng)新技術(shù)方案,在難度最高、競爭最激烈的SEMI賽道中獲得第一名。

《Multimodal Emotion Recognition with Vision-language Prompting and Modality Dropout》一文中核心介紹了Soul團隊為提高情緒識別的準確性和泛化性能,提出的多模態(tài)情緒識別方法。

Soul提出了基于視覺語言提示學(xué)習(xí)的微調(diào)模型EmoVCLIP,用于基于視頻的情緒識別任務(wù)。為了提高文本模態(tài)情感識別能力,團隊針對文本模態(tài)使用 GPT-4 打情感偽標簽,充分利用 GPT-4 的情感關(guān)注能力,提高文本模態(tài)在情感識別的準確率,為后續(xù)進一步模態(tài)融合打下基礎(chǔ)。

此外,為了解決多模態(tài)融合中的模態(tài)依賴性問題,團隊采用 Modality Dropout 策略來進行魯棒信息融合。Soul使用自我訓(xùn)練策略來利用未標記的信息。實驗結(jié)果表明,Soul的模型在測試中上達到了90.15%的準確率,在MER2024-SEMI賽道中排名第一。

MER2024-SEMI賽道比賽結(jié)果

Soul App CTO陶明表示,“在整個AI賽道上我們有兩條主線,一條主線是輔助社交,輔助人和人的雙邊關(guān)系,用AI去加強人的表達,提升關(guān)系網(wǎng)絡(luò)建立的效率和質(zhì)量;第二條主線,是探索人機互動,我們認為未來所有的社交形式都會發(fā)生變化,要在人機互動這個方向探索AI情感式陪伴?!?/p>

為讓AI更好“理解”人,實現(xiàn)有情感、有溫度的人機交互,Soul持續(xù)推進相關(guān)研究和技術(shù)積累工作,此次論文也是平臺階段性研究成果和能力的總結(jié)之一。現(xiàn)階段,Soul已積極將相關(guān)技術(shù)能力應(yīng)用于異世界回響、AI茍蛋、狼人魅影等多個社交場景,為用戶帶來更好的交互體驗和陪伴感。

例如,在AI互動場景“異世界回響”,擁有多模態(tài)情感互動能力的自研大模型支持下,個性化的智能體能夠根據(jù)用戶的語音、文字等信息實時識別情緒,并快速給予相應(yīng)的情感反饋。據(jù)了解,團隊目前還在探索在群聊派對、興趣群組等社交場景中引入情感化AI能力,輔助關(guān)系網(wǎng)絡(luò)建立,提升社交體驗。

如今,AIGC技術(shù)已廣泛應(yīng)用于各行各業(yè),并在提效方面展現(xiàn)出了驚人的效果。但在強調(diào)情緒價值的社交領(lǐng)域,除了提效,AI情感互動能力帶來的差異化體驗,或?qū)⒊蔀锳I社交方向下一階段競爭的焦點。對Soul來說,接下來,將繼續(xù)加大技術(shù)投入,持續(xù)探索AI情感互動能力在社交場景的深度融合應(yīng)用,致力于構(gòu)建人機交互新場景的同時,真正實現(xiàn)人與AI的雙向情感智能交互。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  RSS訂閱  |  開放轉(zhuǎn)載  |  滾動資訊  |  爭議稿件處理  |  English Version