華為近日宣布,其DeepSeek系列中的DeepSeek-R1、DeepSeek-V3、DeepSeek-V2以及Janus-Pro四款模型已正式入駐昇騰社區(qū)。這一舉措意味著用戶現(xiàn)在可以一鍵獲取這些先進的模型,并在昇騰硬件平臺上實現(xiàn)開箱即用的便捷體驗。
據(jù)悉,DeepSeek-V3模型的首個版本于去年成功上線并同步開源。作為一款自研的MoE模型,它擁有高達(dá)671B的參數(shù),并在14.8T的token數(shù)據(jù)上進行了預(yù)訓(xùn)練,其中37B參數(shù)被激活。這一強大的模型在多項評測中展現(xiàn)出了卓越的性能,超越了Qwen2.5-72B和Llama-3.1-405B等其他知名的開源模型。
更DeepSeek-V3在性能上與世界頂尖的閉源模型,如GPT-4o和Claude-3.5-Sonnet,也毫不遜色。這一表現(xiàn)無疑為DeepSeek系列模型贏得了廣泛的關(guān)注和贊譽。
為了幫助用戶更好地在昇騰社區(qū)獲取和使用DeepSeek-V3模型,以下將詳細(xì)介紹其操作步驟:
首先,用戶需要滿足一定的硬件要求。為了成功部署DeepSeek-V3模型,建議配置4臺Atlas 800I A2(8*64G)服務(wù)器資源。
接下來是模型調(diào)用的實踐環(huán)節(jié)。用戶需要進行權(quán)重轉(zhuǎn)換,這一步驟根據(jù)所使用的硬件(GPU或NPU)而有所不同。然后,用戶需要在昇騰社區(qū)的開發(fā)資源中下載適配DeepSeek-V3的鏡像包,具體為mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64。下載完成后,使用docker images命令確認(rèn)查找具體鏡像名稱與標(biāo)簽。
最后,進行服務(wù)化測試。用戶需要配置服務(wù)化環(huán)境變量,并啟用內(nèi)存池擴展段功能(即虛擬內(nèi)存特性)。然后修改服務(wù)化參數(shù)并拉起服務(wù)化。當(dāng)控制臺顯示“Daemon start success!”時,即表示服務(wù)已成功啟動。