在北京舉辦的“WISE2024 商業(yè)之王”大會(huì)上，一場(chǎng)關(guān)于國產(chǎn)算力應(yīng)用的深度探討吸引了眾多行業(yè)精英的目光。北京電子數(shù)智科技有限責(zé)任公司（簡(jiǎn)稱“北電數(shù)智”）作為受邀嘉賓，其CMO兼戰(zhàn)略與市場(chǎng)負(fù)責(zé)人楊震發(fā)表了題為《“國產(chǎn)算力 PoC 平臺(tái)”引領(lǐng)算力優(yōu)化新路徑》的演講，分享了北電數(shù)智在國產(chǎn)算力應(yīng)用領(lǐng)域的獨(dú)到見解和最新探索成果。
隨著OpenAI o1的發(fā)布，強(qiáng)化學(xué)習(xí)在提升大模型智力方面的推理模型路線逐漸獲得行業(yè)認(rèn)可。然而，盡管推理模型以長思考時(shí)間換取智能水平的提升，但在實(shí)際應(yīng)用中，用戶仍追求快速響應(yīng)、低成本推理和高吞吐能力。推理模型注重垂直場(chǎng)景的落地，但存在產(chǎn)業(yè)鏈斷層問題，模型方與算力供給需要按場(chǎng)景進(jìn)行系統(tǒng)化適配。
針對(duì)這些挑戰(zhàn)，北電數(shù)智推出了首個(gè)國產(chǎn)算力PoC平臺(tái)，該平臺(tái)構(gòu)建在北電數(shù)智先進(jìn)計(jì)算迭代驗(yàn)證平臺(tái)（前進(jìn)?AI 異構(gòu)計(jì)算平臺(tái)）之上，位于北電數(shù)智規(guī)劃建設(shè)的北京數(shù)字經(jīng)濟(jì)算力中心。該平臺(tái)能夠?qū)崿F(xiàn)對(duì)不同廠家算力芯片的納管與統(tǒng)一調(diào)度，根據(jù)模型任務(wù)特性精準(zhǔn)調(diào)配算力資源。通過構(gòu)建豐富的算子庫和通信庫，平臺(tái)加速模型訓(xùn)練進(jìn)程，提供高性價(jià)比、高品質(zhì)的算力支持。
在模型與行業(yè)、場(chǎng)景深度融合的背景下，定制化需求愈發(fā)重要。北電數(shù)智的國產(chǎn)算力PoC平臺(tái)能夠在垂直場(chǎng)景下為用戶提供算力集群的評(píng)測(cè)、適配和驗(yàn)證服務(wù)，幫助算力需求方找到最適合的“軟件+硬件”組合方案，提升模型訓(xùn)推算力效率，降低訓(xùn)推成本，提升用戶體驗(yàn)。
國產(chǎn)算力PoC平臺(tái)在提升國產(chǎn)芯片和集群利用率方面表現(xiàn)出色。通過調(diào)度、算法和算子等多層面的優(yōu)化，平臺(tái)顯著改善了國產(chǎn)集群的訓(xùn)推效能?；煊?xùn)集群的訓(xùn)練效果達(dá)到單一集群綜合訓(xùn)練效果的1.2倍，混推操作時(shí)平均MFU（模型對(duì)算力的利用率）從30%提升至60%。
在模型生成速度方面，經(jīng)過國產(chǎn)算力PoC平臺(tái)多層優(yōu)化后，基于國產(chǎn)芯片的模型首字延遲最多可優(yōu)化10倍，解碼延遲同樣可達(dá)10倍優(yōu)化，推理吞吐量最高可實(shí)現(xiàn)80倍提升。這意味著平臺(tái)能夠在單位時(shí)間內(nèi)處理更多數(shù)據(jù)，更快速地響應(yīng)模型推理需求，提升數(shù)據(jù)處理效率和用戶體驗(yàn)。
為了進(jìn)一步提升運(yùn)行效率和節(jié)約資源，北電數(shù)智在集群中采用了多種推理優(yōu)化策略。例如，利用scoping to zero特性縮短冷啟動(dòng)時(shí)長，在集群推理環(huán)節(jié)支持Continuous batch、Page attention、CPU/GPU異步等推理策略，提高GPU利用率。
目前，北電數(shù)智的國產(chǎn)算力PoC平臺(tái)已支持對(duì)十多種國內(nèi)知名算力芯片的評(píng)測(cè)和二十多款主流模型的適配。平臺(tái)在AI發(fā)展中展現(xiàn)出關(guān)鍵價(jià)值和強(qiáng)大競(jìng)爭(zhēng)力，通過精準(zhǔn)的算力納管與調(diào)度、卓越的模型適配能力以及全方位的優(yōu)化舉措，解決了推理模型落地應(yīng)用時(shí)的諸多難題。
作為肩負(fù)“建設(shè)數(shù)字中國”使命的AI原生國企，北電數(shù)智始終堅(jiān)持探索難而正確的事。公司致力于強(qiáng)化行業(yè)間的生態(tài)聯(lián)動(dòng)，打通模型、場(chǎng)景與芯片在商業(yè)運(yùn)營及研發(fā)創(chuàng)新層面的閉環(huán)鏈路。在人工智能產(chǎn)業(yè)蓬勃發(fā)展的背景下，北電數(shù)智積極布局，通過持續(xù)優(yōu)化國產(chǎn)算力PoC平臺(tái)整合行業(yè)資源，為產(chǎn)業(yè)鏈上下游企業(yè)提供高效的合作橋梁，提升我國人工智能產(chǎn)業(yè)自主化創(chuàng)新能力。
北電數(shù)智的國產(chǎn)算力PoC平臺(tái)不僅提升了國產(chǎn)芯片利用率和集群效能，降低了模型訓(xùn)推成本，還顯著提高了運(yùn)行效率。平臺(tái)在AI領(lǐng)域的實(shí)踐和創(chuàng)新，為國家科技戰(zhàn)略的推進(jìn)做出了積極貢獻(xiàn)。
北電數(shù)智還通過不斷的技術(shù)創(chuàng)新和生態(tài)建設(shè)，推動(dòng)了人工智能技術(shù)在各行各業(yè)的廣泛應(yīng)用和深入發(fā)展。公司的努力和成果，為行業(yè)樹立了標(biāo)桿，也為未來的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。
