ITBear旗下自媒體矩陣:

AMD銳龍AI處理器助力,本地部署DeepSeek,最高可享70B參數(shù)體驗(yàn)

   時(shí)間:2025-02-12 19:30:03 來(lái)源:ITBEAR編輯:快訊團(tuán)隊(duì) 發(fā)表評(píng)論無(wú)障礙通道

近期,DeepSeek這款應(yīng)用因其出色的功能而備受用戶(hù)追捧,然而,由于服務(wù)器承載壓力巨大,時(shí)常出現(xiàn)無(wú)響應(yīng)的情況。為了獲得更流暢的體驗(yàn),越來(lái)越多的用戶(hù)開(kāi)始傾向于本地部署,而這種部署方式的具體效果則取決于個(gè)人的硬件配置。

AMD在x86處理器領(lǐng)域一直走在前列,并率先將AI能力引入其中。銳龍7040系列處理器就集成了獨(dú)立的NPU AI引擎,而后續(xù)的銳龍8040系列、銳龍AI 300系列以及銳龍AI MAX 300系列,在AI性能上更是不斷攀升。

AMD銳龍AI處理器所搭載的NPU,目前處于行業(yè)領(lǐng)先地位,其算力高達(dá)每秒50萬(wàn)億次,即50 TOPS,這樣的性能使得它成為體驗(yàn)DeepSeek的理想選擇。

對(duì)于那些已經(jīng)擁有銳龍AI筆記本的用戶(hù)來(lái)說(shuō),通過(guò)LM Studio平臺(tái),他們可以輕松地在本地部署并體驗(yàn)DeepSeek R1精簡(jiǎn)版推理模型。以下是具體的操作步驟:

首先,需要安裝AMD Adrenalin 25.1.1或更新版本的顯卡驅(qū)動(dòng)。然后,訪問(wèn)lmstudio.ai/ryzenai,下載LM Studio 0.3.8或更新版本,并進(jìn)行安裝。在安裝完成后,可以直接跳過(guò)引導(dǎo)屏幕,進(jìn)入軟件主界面。

接下來(lái),點(diǎn)擊“發(fā)現(xiàn)”標(biāo)簽頁(yè),選擇適合自己的DeepSeek R1 Distill版本。具體選擇依據(jù)個(gè)人需求而定。在軟件頁(yè)面右側(cè),勾選“Q4 K M”量化模式,并點(diǎn)擊“下載”按鈕。下載完成后,返回聊天選項(xiàng)頁(yè),從下拉菜單中選擇已下載的DeepSeek R1 distill版本,并確保勾選“手動(dòng)選擇參數(shù)”選項(xiàng)。

在“GPU卸載”設(shè)置中,將滑塊移至最大值,以?xún)?yōu)化性能。最后,點(diǎn)擊“模型加載”按鈕,即可在本地體驗(yàn)DeepSeek R1推理模型。

不同規(guī)模的參數(shù)模型,其性能和體積也各不相同,因此,用戶(hù)需要根據(jù)自己的硬件設(shè)備選擇最適合的參數(shù)量。例如,頂級(jí)配置的銳龍AI MAX+ 395處理器,搭配64GB或128GB內(nèi)存,最高可以支持DeepSeek-R1-Distill-Llama-70B模型。若內(nèi)存為64GB,則需將可變顯存設(shè)置為高。而搭配32GB內(nèi)存,并將可變顯存自定義為24GB,則可支持DeepSeek-R1-Distill-Qwen-32B模型。

對(duì)于銳龍AI HX 370和AI 365處理器,搭配24GB或32GB內(nèi)存,可以支持DeepSeek-R1-Distill-Qwen-14B模型。而銳龍7040/8040系列,則需搭配32GB內(nèi)存,才能支持到同一模型。AMD還建議將所有Distill運(yùn)行在Q4 K M量化模式下,以獲得最佳性能。

對(duì)于臺(tái)式機(jī)用戶(hù),AMD RX 7000系列顯卡也已支持本地部署DeepSeek R1。其中,RX 7900 XTX旗艦顯卡最高可支持DeepSeek-R1-Distill-Qwen-32B模型,而RX 7900 XT、7900 GRE、7800 XT、7700 XT以及7600 XT均可支持到DeepSeek-R1-Distill-Qwen-14B模型。對(duì)于RX 7600以及新發(fā)布的RX 7650 GRE顯卡,則更適合運(yùn)行DeepSeek-R1-Distill-Llama-8B模型。

舉報(bào) 0 收藏 0 打賞 0評(píng)論 0
 
 
更多>同類(lèi)資訊
全站最新
熱門(mén)內(nèi)容
網(wǎng)站首頁(yè)  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  RSS訂閱  |  開(kāi)放轉(zhuǎn)載  |  滾動(dòng)資訊  |  爭(zhēng)議稿件處理  |  English Version