昨天，在“WAVE Summit+”2019深度學習開發(fā)者秋季峰會上，百度對外發(fā)布基于ERNIE的語義理解開發(fā)套件，旨在為企業(yè)級開發(fā)者提供更領(lǐng)先、高效、易用的ERNIE應(yīng)用服務(wù)，全面釋放ERNIE的工業(yè)化價值，其中包含ERNIE 輕量級解決方案，提速1000倍!
今年7月份，百度發(fā)布持續(xù)學習語義理解框架ERNIE 2.0，在共計16個中英文任務(wù)上超越BERT、XLNET，取得了SOTA的效果。
ERNIE 2.0發(fā)布以來，ERNIE產(chǎn)業(yè)化應(yīng)用進程不斷加速，易用性不斷提升，配套產(chǎn)品也不斷豐富和完善。目前，ERNIE 2.0在百度內(nèi)部及行業(yè)內(nèi)已取得了廣泛應(yīng)用，在多種場景下都取得了明顯效果提升。這些場景的成功運用為ERNIE產(chǎn)業(yè)化應(yīng)用積累了豐富的經(jīng)驗。
上圖為ERNIE全景圖，預置了包含ERNIE通用模型、ERNIE任務(wù)模型、ERNIE領(lǐng)域模型以及本次發(fā)布的ERNIE Tiny輕量級模型等系列預訓練模型。在此基礎(chǔ)上，構(gòu)建了包含工具和平臺的飛槳語義理解開發(fā)套件。全面覆蓋了訓練、調(diào)優(yōu)、部署等開發(fā)流程，具備輕量方案、能力全面、極速預測、部署靈活、平臺賦能等五大特色。接下來，我們逐一揭秘。
特色1：輕量級解決方案，預測速度提升1000倍
ERNIE 2.0擁有強大的語義理解能力，而這些能力需要強大的算力才能充分發(fā)揮，這為實際應(yīng)用帶來了非常大的挑戰(zhàn)。為此，百度發(fā)布輕量級預訓練模型ERNIE Tiny以及一鍵式數(shù)據(jù)蒸餾工具ERNIE Slim，預測速度提升達到1000倍。
ERNIE Tiny技術(shù)原理
ERNIE Tiny主要通過模型結(jié)構(gòu)壓縮和模型蒸餾的方法，將ERNIE 2.0 Base模型進行壓縮，其特點和優(yōu)勢主要包括以下四個方面：
1.淺：模型采用3層transformer結(jié)構(gòu)，線性提速4倍;
2.寬：模型加寬隱層參數(shù)，從ERNIE 2.0的768擴展到1024，寬度的增加帶來效果的提升 。依托飛槳的通用矩陣運算優(yōu)化，『變寬』并不會帶來速度線性的下降;
3.短：為縮短輸入文本的序列長度，降低計算復雜度，模型首次采用中文subword粒度輸入，長度平均縮短40%;
4.萃：ERNIE Tiny在訓練中扮演學生角色，利用模型蒸餾的方式在Transformer層和Prediction層學習教師模型ERNIE 2.0模型對應(yīng)層的分布和輸出。
通過以上四個方面的壓縮，ERNIE Tiny模型的效果相對于ERNIE 2.0 Base平均只下降了2.37%，但相對于“SOTA Before BERT”提升了8.35%，而速度提升了4.3倍。
ERNIE Tiny的預測速度在一些性能要求苛刻的場景中是不夠的，這些場景中延遲響應(yīng)往往要求小于1ms，為此，套件提供了一鍵式數(shù)據(jù)蒸餾ERNIE Slim工具。該工具以數(shù)據(jù)為橋梁，將ERNIE的知識遷移至小模型，在效果損失很小的情況下實現(xiàn)預測速度上千倍的提升。
ERNIE Slim技術(shù)原理
ERNIE Slim原理同傳統(tǒng)深度學習數(shù)據(jù)蒸餾的方法略有不同。首先需要使用ERNIE 2.0模型對輸入標注數(shù)據(jù)進行Fine-tune得到Teacher Model，然后使用Teacher Model對無標注數(shù)據(jù)進行預測，該步驟中我們可采用添加噪聲詞、同詞性詞語替換、N-sampling三種策略進行數(shù)據(jù)增強，最后通過BoW、CNN等計算復雜度小的模型進行訓練。
下表展示了ERNIE Slim的效果。從表格中可以看出，相對于ERNIE 2.0 base模型，數(shù)據(jù)蒸餾后的小模型效果損失不大，預測速度提升千倍以上; 而相對于簡單模型，速度接近的情況下，效果會得到顯著提升。
ERNIE Slim效果
特色2：一鍵式高性能全類微調(diào)工具
ERNIE Fine-tune微調(diào)工具旨在為給開發(fā)者提供一套簡單好用的Fine-tune框架，目前覆蓋NLP四大常用任務(wù)：單句分類、句對匹配、命名實體識別、閱讀理解。工具集支持多機多卡Fine-tune，同時使用FP16 Tensor Core技術(shù)在Tesla V系列GPU上獲得60%的訓練速度提升。
Fine-tune微調(diào)工具包含了一個基于飛槳的訓練組織框架Propeller，可以幫助開發(fā)者進行模型管理、參數(shù)熱啟動、自動多卡并行等工作，從而讓開發(fā)者更專注于網(wǎng)絡(luò)結(jié)構(gòu)以及輸入數(shù)據(jù)流水線的構(gòu)建。
特色3：極速預測API
ERNIE Fast-inference API旨在解決產(chǎn)品應(yīng)用的延遲敏感場景，為企業(yè)開發(fā)者提供極速預測的C++ API，便于開發(fā)者集成。該工具也充分借助了最新版飛槳的高速預測優(yōu)勢，飛槳1.6通過OP聚合算法，有效加速了ERNIE的預測。
在延遲敏感場景下，對比競品在GPU(P4)設(shè)備21%的延遲降低，ERNIE Fast-inference API在CPU(Intel Xeon Gold 6148 CPU)設(shè)備上的延遲降低60%。
特色4：向量服務(wù)器，支持跨平臺靈活部署
為進一步降低開發(fā)者使用成本，套件提供預測服務(wù)方案——ERNIE Service，來方便獲取ERNIE模型的向量分布以及預測打分。
ERNIE Service架構(gòu)
ERNIE Service是基于Python構(gòu)建的多GPU預測服務(wù)，Client端發(fā)送的請求會自動分發(fā)至GPU上執(zhí)行ERNIE Fast-inference API來獲取ERNIE向量 及打分。目前ERNIE Service支持不同平臺、不同設(shè)備、不同語言的靈活調(diào)用，具備預測性能高等特點，相比競品BERT-as-service在QPS上提升13%。
特色5：平臺賦能
此外，套件還包含了ERNIE的平臺化使用方案，開發(fā)者可通過EasyDL專業(yè)版一站式完成NLP任務(wù)的數(shù)據(jù)標注、處理、ERNIE微調(diào)、優(yōu)化、部署等全流程的功能，為開發(fā)者提供豐富的算法、算力服務(wù)，進一步降低 ERNIE 的產(chǎn)業(yè)化應(yīng)用門檻。平臺預置了常用的NLP文本分類、文本匹配等經(jīng)典網(wǎng)絡(luò)，能夠快速滿足多層次開發(fā)者的需求。
綜合來看，ERNIE的語義理解開發(fā)套件依托百度在預訓練模型等自然語言處理技術(shù)和飛槳平臺領(lǐng)先優(yōu)勢，為人工智能產(chǎn)業(yè)化大生產(chǎn)貢獻力量，賦能各行各業(yè)。
相關(guān)鏈接：
ERNIE工業(yè)級開源工具：https://github.com/PaddlePaddle/ERNIE
ERNIE平臺化服務(wù)：https://ai.baidu.com/easydl/pro
