在近日舉行的2024中國(guó)信息通信大會(huì)“算力網(wǎng)絡(luò)算網(wǎng)一體創(chuàng)新發(fā)展論壇”上，中國(guó)移動(dòng)攜手天數(shù)智芯、壁仞科技、中興、海光及瀚博等業(yè)內(nèi)領(lǐng)先企業(yè)，共同推出了“芯合”異構(gòu)混合并行訓(xùn)練系統(tǒng)1.0版本，標(biāo)志著算力融合技術(shù)的又一重大突破。
“芯合”系統(tǒng)以兩大核心技術(shù)為亮點(diǎn)：一是基于非均勻計(jì)算任務(wù)切分（ITD）算法的3D并行策略，它能夠在通用混合訓(xùn)練框架下，靈活實(shí)現(xiàn)異構(gòu)數(shù)據(jù)并行與流水線并行，自適應(yīng)調(diào)整諸如數(shù)據(jù)微批次大小、數(shù)量及流水線并行度等參數(shù)，以適應(yīng)不同算力平臺(tái)。二是采用GPU Direct RDMA（GDR）技術(shù)的異構(gòu)芯片高速通信技術(shù)，該技術(shù)無(wú)需改變芯片原有通信接口，通過(guò)定義數(shù)據(jù)傳輸架構(gòu)、流程及接口標(biāo)準(zhǔn)，有效屏蔽底層硬件差異，實(shí)現(xiàn)頂層訓(xùn)練任務(wù)在異構(gòu)算力集群上的無(wú)縫分布式通信。
據(jù)中國(guó)移動(dòng)介紹，“芯合”系統(tǒng)已成功應(yīng)用于百億參數(shù)大模型的交叉混合訓(xùn)練，支持包括英偉達(dá)、天數(shù)智芯、壁仞科技及海光在內(nèi)的四家智算芯片，集群規(guī)?？蛇_(dá)萬(wàn)卡級(jí)別，訓(xùn)練加速比超過(guò)95%，達(dá)到了業(yè)界領(lǐng)先水平。這一成果對(duì)于提升智能算力資源利用率及推動(dòng)國(guó)產(chǎn)算力發(fā)展具有重要意義。
中國(guó)移動(dòng)還在論壇上攜手華為、瀚博、澎峰、海光及天數(shù)智芯等企業(yè)，發(fā)布了“芯合”算力原生基礎(chǔ)軟件棧2.0版本。該軟件棧于2023年首次發(fā)布，實(shí)現(xiàn)了智算應(yīng)用的一鍵式跨芯遷移，并在山東、廣西等多地的路橋檢測(cè)、智能安防等領(lǐng)域進(jìn)行了試點(diǎn)應(yīng)用，顯著降低了智算應(yīng)用向國(guó)產(chǎn)化芯片遷移的復(fù)雜度。
“芯合”基礎(chǔ)軟件棧2.0相較于1.0版本實(shí)現(xiàn)了三大顯著升級(jí)。首先，在能力上，它全面重構(gòu)了算力抽象模型，通過(guò)插件化設(shè)計(jì)靈活接入英偉達(dá)、華為、海光等六家AI芯片，拓展了ONNX、SYCL等多種編程范式，支持泛AI應(yīng)用的跨芯遷移。其次，在性能上，新增了對(duì)標(biāo)CUDA的DNN、BLAS等高性能計(jì)算庫(kù)，提供了圖算融合編譯優(yōu)化能力，實(shí)現(xiàn)了性能的大幅提升，跨架構(gòu)遷移損耗已降低至10%以內(nèi)。最后，在效率上，構(gòu)建了面向智算應(yīng)用的“跨架構(gòu)軟件工廠”，提供從開(kāi)發(fā)、調(diào)試、優(yōu)化、部署到遷移的全生命周期服務(wù)能力，顯著縮短了應(yīng)用開(kāi)發(fā)、上線時(shí)間，提升了整體研發(fā)效率。
目前，“芯合”算力原生基礎(chǔ)軟件棧2.0已實(shí)現(xiàn)泛AI應(yīng)用在英偉達(dá)、英特爾、華為、瀚博、天數(shù)智芯及海光六家智算芯片間的一鍵式跨芯流轉(zhuǎn)遷移，轉(zhuǎn)換效率超過(guò)95%，遷移性能損耗小于10%，遷移時(shí)間不超過(guò)20秒，已具備規(guī)模商用的條件。這一成果將在提升智能算力網(wǎng)絡(luò)自主可控水平方面發(fā)揮重要作用。
