【ITBEAR科技資訊】3月4日消息，近日，Intel在GitHub上公開了其NPU加速庫，這一舉措使得裝備了酷睿Ultra處理器的AI PC得以流暢運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。
酷睿Ultra系列首次集成了NPU AI引擎，該引擎能夠處理一些輕量級的AI推理任務(wù)，并與CPU、GPU協(xié)同工作，以應(yīng)對各類AI應(yīng)用的需求。
據(jù)ITBEAR科技資訊了解，雖然這次開源的NPU加速庫主要針對開發(fā)人員，但擁有一定編程經(jīng)驗的用戶同樣可以嘗試使用。Intel的軟件架構(gòu)師Tony Mongkolsmai展示了如何利用此開源庫，在微星尊爵14 AI Evo筆記本電腦上運行一個基于11億參數(shù)的TinyLlama大模型的AI聊天機(jī)器人，該機(jī)器人能進(jìn)行簡單的對話。同時，Windows任務(wù)管理器也證實了NPU的有效調(diào)用。
然而，當(dāng)前的開源NPU加速庫在功能上還存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關(guān)技術(shù)文檔也尚未提供。不過，Intel已承諾將在后續(xù)逐步擴(kuò)展其功能，預(yù)期將比現(xiàn)有功能增加一倍，這無疑將為AI開發(fā)者們帶來更多的便利和可能性。
