華為技術(shù)有限公司近期宣布了一項(xiàng)重要進(jìn)展，其MindSpeed平臺(tái)現(xiàn)已全面支持DeepSeek V3模型的預(yù)訓(xùn)練及微調(diào)工作。這一消息標(biāo)志著華為在人工智能領(lǐng)域的技術(shù)實(shí)力再次得到彰顯。
具體而言，MindSpeed平臺(tái)在支持DeepSeek V3模型時(shí)，采用了高效的并行配置和精細(xì)的模型參數(shù)設(shè)置。這些設(shè)置確保了模型在預(yù)訓(xùn)練和微調(diào)階段能夠達(dá)到最佳性能。相關(guān)配置和參數(shù)的詳細(xì)信息，以圖表形式呈現(xiàn)，清晰直觀。
DeepSeek團(tuán)隊(duì)通過(guò)創(chuàng)新的知識(shí)蒸餾技術(shù)，成功實(shí)現(xiàn)了小型模型在推理能力上的大幅提升。華為表示，他們已在昇騰平臺(tái)上完成了蒸餾流程的驗(yàn)證，經(jīng)過(guò)蒸餾的Qwen模型在特定領(lǐng)域上的表現(xiàn)取得了顯著進(jìn)步。這一成果為開(kāi)發(fā)者提供了寶貴的參考，使他們能夠基于這一流程訓(xùn)練出性能更優(yōu)的自定義模型。
華為昇騰平臺(tái)還完成了對(duì)Open R1項(xiàng)目的重要適配工作。Open R1是一個(gè)旨在完全復(fù)現(xiàn)DeepSeek-R1模型流程的開(kāi)源項(xiàng)目，由Hugging Face官方發(fā)起。華為昇騰平臺(tái)成功打通了Open R1-Zero的GRPO流程，并支持通過(guò)vLLM等生態(tài)庫(kù)在訓(xùn)練過(guò)程中生成數(shù)據(jù)。這一進(jìn)展為DeepSeek-R1模型的訓(xùn)練流程構(gòu)建提供了有力支持。
Open R1項(xiàng)目自發(fā)布以來(lái)，受到了業(yè)界的廣泛關(guān)注。目前，該項(xiàng)目已在GitHub上獲得了超過(guò)18000個(gè)星標(biāo)，成為主流復(fù)現(xiàn)項(xiàng)目之一。華為昇騰平臺(tái)的適配工作無(wú)疑將進(jìn)一步推動(dòng)該項(xiàng)目的發(fā)展，為更多開(kāi)發(fā)者提供便捷、高效的模型復(fù)現(xiàn)和訓(xùn)練工具。
華為此次宣布的進(jìn)展，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為行業(yè)內(nèi)的開(kāi)發(fā)者提供了更多選擇和可能性。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷拓展，華為昇騰平臺(tái)將繼續(xù)發(fā)揮其在人工智能領(lǐng)域的優(yōu)勢(shì)，推動(dòng)行業(yè)的持續(xù)發(fā)展和創(chuàng)新。
