6 月 28 日消息 今日，字節(jié)跳動(dòng)火山翻譯團(tuán)隊(duì)宣布推出 LightSeq 訓(xùn)練加速引擎，并向全球開發(fā)者開源。
Transformer 是自然語言處理、計(jì)算機(jī)視覺等 AI 技術(shù)領(lǐng)域最常用的基礎(chǔ)模型，被廣泛應(yīng)用在機(jī)器翻譯、文本生成、文本摘要、圖像處理、時(shí)間序列預(yù)測(cè)等任務(wù)中。訓(xùn)練和推理則是 AI 技術(shù)的兩個(gè)主要過程，相當(dāng)于學(xué)習(xí)知識(shí)和解決問題。
據(jù)悉，LightSeq 訓(xùn)練加速引擎能夠支持 Transformer 的完整加速，從詞嵌入層、編碼層、解碼層，到最后的損失函數(shù)層，業(yè)內(nèi)首次實(shí)現(xiàn)了全流程支持。而且 LightSeq 的訓(xùn)練速度極快，相比主流的序列生成庫(kù)，LightSeq 最快只需要三分之一的時(shí)間就能完成訓(xùn)練。
根據(jù)公開報(bào)道，字節(jié)跳動(dòng)現(xiàn)在已經(jīng)開源了機(jī)器學(xué)習(xí)平臺(tái) Klever、聯(lián)邦學(xué)習(xí)平臺(tái) Fedlearner、高性能分布式訓(xùn)練框架 BytePS 等重磅項(xiàng)目。
