英偉達官方近日宣布，其NIM（Nvidia Inference Microservices）微服務平臺已迎來新成員——DeepSeek R1 671b版本的預覽版。該版本現(xiàn)已在build.nvidia.com平臺上公開發(fā)布。
據(jù)悉，這一微服務以單個英偉達HGX H200系統(tǒng)為基礎，其強大的處理能力令人矚目，每秒可高效處理多達3872個token。這一性能的提升，無疑將為AI應用的開發(fā)帶來更為廣闊的空間。
目前，開發(fā)人員已經(jīng)有機會對這一API進行測試與實驗。英偉達方面表示，不久的將來，該API將以可下載的NIM微服務形式，正式納入英偉達AI Enterprise軟件平臺，為更多用戶提供便捷的服務。
關于NIM，它是一種專為云原生環(huán)境設計的微服務技術。其核心理念在于簡化生成式AI模型在云端、數(shù)據(jù)中心以及GPU加速工作站上的部署流程，從而推動AI技術的廣泛應用。
DeepSeek R1是由幻方量化旗下的AI公司DeepSeek所推出的大型模型。該模型在數(shù)學、代碼編寫、自然語言推理等多個領域均展現(xiàn)出卓越的性能，其能力足以與業(yè)界知名的OpenAI的o1模型相抗衡。
此次DeepSeek R1加入英偉達NIM微服務平臺，不僅進一步豐富了英偉達AI生態(tài)系統(tǒng)，也為AI開發(fā)者提供了更多選擇和可能性。未來，隨著技術的不斷發(fā)展和完善，我們有理由相信，這些先進的AI技術將在更多領域發(fā)揮重要作用。
