近日，華為官方公眾號發(fā)布了一則重要消息，宣布DeepSeek系列模型的新進(jìn)展。據(jù)悉，2月4日，DeepSeek-R1、DeepSeek-V3、DeepSeek-V2以及Janus-Pro已在昇騰社區(qū)正式上線。
此次上線的DeepSeek系列模型，為開發(fā)者們提供了極大的便利。用戶只需一鍵操作，即可輕松獲取這些模型，并在昇騰硬件平臺上實現(xiàn)開箱即用，大大加速了推理部署的過程。
為了幫助開發(fā)者更好地使用這些模型，華為還提供了詳細(xì)的模型調(diào)用方式。對于GPU用戶，可以通過克隆GitHub上的DeepSeek-V3倉庫，并執(zhí)行相應(yīng)的Python腳本來完成權(quán)重轉(zhuǎn)換。而對于NPU用戶，則可以通過訪問特定的模型倉庫，執(zhí)行類似的轉(zhuǎn)換操作。
在獲取并轉(zhuǎn)換好權(quán)重后，接下來的一步是加載鏡像。開發(fā)者需要從昇騰社區(qū)下載適配DeepSeek-V3的鏡像包，并使用docker命令進(jìn)行加載。加載完成后，通過docker images命令可以確認(rèn)鏡像的名稱與標(biāo)簽。
隨后，開發(fā)者可以使用提供的MindIE鏡像來啟動容器。這個鏡像已經(jīng)預(yù)置了DeepSeek-V3模型的推理腳本。開發(fā)者只需將獲取到的權(quán)重放置在模型代碼的主目錄下，并修改模型文件夾的屬組和執(zhí)行權(quán)限，即可啟動容器進(jìn)行推理。
在服務(wù)化測試階段，開發(fā)者需要配置服務(wù)化環(huán)境變量，并修改服務(wù)化參數(shù)。其中，一個關(guān)鍵的配置是使能內(nèi)存池擴(kuò)展段功能，即虛擬內(nèi)存特性。這一配置可以通過設(shè)置環(huán)境變量PYTORCH_NPU_ALLOC_CONF來實現(xiàn)。
此次DeepSeek系列模型的上線，無疑為開發(fā)者們提供了更為便捷、高效的模型使用方式。相信隨著昇騰社區(qū)的不斷完善和發(fā)展，將會有更多的優(yōu)質(zhì)模型和工具被推出，為人工智能領(lǐng)域的發(fā)展注入新的活力。
