人與機器在開放領域自由對話這一終極理想，又迎來重大進展。近日，百度全新發(fā)布了超大規(guī)模模型PLATO-2，在承襲PLATO模型運用隱變量進行多樣化回復生成特性外，模型參數(shù)規(guī)模上升到16億!能夠就開放話題和人類流暢嗨聊。在對話演示中，PLATO不僅能深聊“去吧去吧，學會了游泳帶我一起”，還會小腹黑“你不怕我把你扔河里么?”，朱朝陽看了都直呼專業(yè)。
這樣的優(yōu)秀效果同樣反映在公開數(shù)據(jù)集的測試中，評估結果顯示百度PLATO-2的對話效果全面超越了今年谷歌發(fā)布的26億參數(shù)模型Meena，以及Facebook發(fā)布的27億參數(shù)模型Blender，以更少樣本達成了更優(yōu)的效果。而在中文對話中，更是與微軟小冰拉開了極大差距，這無疑意味著百度PLATO-2將對話智能提升到了全新高度。
左圖為PLATO-2中文對話演示，右圖為《隱秘的角落》劇照
如今，智能對話正以肉眼可見的速度成為人們熱愛談論的話題，不管是《向往的生活》里的國民機靈鬼小度，或者是手機里隨叫隨到的“hi，siri!”，我們越來越習慣以語言來和機器進行溝通。但不論是家庭、或是手機端，當下有明確功能性的智能助手對比真正能與人類在開放話題中自由對話仍然有差距。
針對這一問題，近年來，基于大量語料和超大規(guī)模預訓練模型的對話生成技術取得了非常多喜人進展，如谷歌Meena、Facebook Blender等模型依托數(shù)十億級的參數(shù)和語料，已能模擬生成與人類非常相近的對話。
但是，龐大的對話語料下隱藏著豐富的信息，同樣的對話語境可以有多種不同的回復，這樣“一對多”問題是當前對話系統(tǒng)面臨的一個重要難點。我們知道，人與人的對話不僅與上下文相關，也和背景知識相關，不論是個人屬性、知識背景、或是價值觀、情緒狀態(tài)等。但每段對話背后，對話者的背景知識是模型訓練中難以獲取的，這就給訓練帶來了很大噪音。如谷歌Meena、臉書Blender等一般的編碼-解碼神經(jīng)網(wǎng)絡不論結構多復雜，仍然是一個“一對一”的函數(shù)，直接應用很容易產(chǎn)生大量“哈哈，不知道”這類的安全回復。
針對這一問題，百度去年發(fā)布的PLATO模型和微軟近期發(fā)布的OPTIMUS模型中都提到了運用隱變量來建模這種不可見多樣性的方法。百度PLATO更獨特地采用了離散隱變量建模，運用多樣化生成 + 合適度判斷的方式，在三個不同各類型的公開數(shù)據(jù)集上均取得了SOTA效果。
此次公布的PLATO-2, 是百度在PLATO工作基礎上的進一步擴展，通過擴展網(wǎng)絡增加訓練數(shù)據(jù)集，模型的參數(shù)規(guī)模擴展到了16億。同時，PLATO采取了課程學習的方法，解決大規(guī)模參數(shù)隱變量網(wǎng)絡訓練的計算消耗問題，逐步優(yōu)化參數(shù)、加快訓練效率。
PLATO-2模型結構簡圖
這樣大體量的模型訓練，離不開百度深度學習平臺飛槳強大的并行能力支持。PLATO-2包含中英文兩部分模型。其中，中文模型在12億中文開放域多輪對話數(shù)據(jù)集上進行訓練，而英文模型則在7億英文開放域多輪數(shù)據(jù)集上訓練。PLATO-2訓練耗費了64張V100卡共3周的時間，依托了飛槳強大并行能力，包括Fleet并行庫和Recompute等擴展顯存的方式。單個Batch包含52萬Token，訓練過程中約進行了30萬次梯度回傳。
為了驗證模型效果，百度對PLATO-2進行了全面的靜態(tài)和動態(tài)評估。靜態(tài)評估為利用現(xiàn)有對話從上文預測下文，以及人機對話、兩個模型相互對話形式的中英文動態(tài)評估。評測結果顯示，百度PLATO在動態(tài)和靜態(tài)評估中均明顯超越了微軟DialoGPT, 谷歌Meena和Facebook Blender模型。更在中文上，與微軟小冰在連貫性、信息量、吸引力、人性化
等維度拉開了極大的差距。
在對話演示中，也可以明顯看出PLATO不僅在對話內(nèi)容豐富度上提升明顯，還能夠就一個話題深入聊天并擴展到相關話題。而此前的最佳模型Blender，則會頻繁地轉(zhuǎn)換話題。
PLATO-2英文對話演示和Blender使用相同對話種子對比
基于PLATO-2在對話內(nèi)容的豐富度和連貫性上展現(xiàn)出了來的高度，有望為智能對話開辟出全新的領域。此外，百度POLATO-2相關英文模型和代碼將在Github中陸續(xù)開放，中文模型未來也將開放接口服務。也期待在全球領軍AI企業(yè)的共同努力下，我們將離人機自由對話的終極夢想更近一步。
更多信息請參考：https://github.com/PaddlePaddle/Knover
