【ITBEAR科技資訊】3月14日消息，晶圓級(jí)芯片領(lǐng)域的領(lǐng)軍企業(yè)Cerebras，近日發(fā)布了其最新一代的芯片產(chǎn)品——WSE-3。據(jù)悉，這款芯片在保持與前代產(chǎn)品WSE-2相同功耗的同時(shí)，實(shí)現(xiàn)了性能的大幅提升，翻倍的表現(xiàn)令人矚目。
WSE-3的詳細(xì)參數(shù)顯示，它采用了臺(tái)積電先進(jìn)的5nm制程技術(shù)，集成了高達(dá)4萬(wàn)億個(gè)晶體管，擁有900,000個(gè)AI核心，以及44GB的片上SRAM緩存。此外，WSE-3還提供了1.5TB、12TB和1.2PB三種可選的片外內(nèi)存容量，以滿足不同場(chǎng)景下的需求。其峰值A(chǔ)I算力更是高達(dá)125 PFLOPS，展現(xiàn)了強(qiáng)大的計(jì)算能力。
據(jù)ITBEAR科技資訊了解，Cerebras基于WSE-3推出了CS-3系統(tǒng)，該系統(tǒng)憑借其最高可達(dá)1.2PB的內(nèi)存容量，能夠訓(xùn)練比當(dāng)前熱門(mén)的GPT-4和Gemini模型大10倍的下一代前沿模型。這意味著CS-3可以在單個(gè)邏輯內(nèi)存空間中容納參數(shù)規(guī)模高達(dá)24,000T的模型，為開(kāi)發(fā)人員提供了極大的便利，簡(jiǎn)化了他們的工作流程。
CS-3系統(tǒng)非常適合超大規(guī)模AI需求。一個(gè)緊湊的四系統(tǒng)集群就能夠在一天內(nèi)完成70B模型的微調(diào)。而當(dāng)使用最大規(guī)模的2048個(gè)CS-3系統(tǒng)集群時(shí)，它甚至可以在一天內(nèi)完成Llama 70B模型的訓(xùn)練，展現(xiàn)了驚人的訓(xùn)練速度。
Cerebras還強(qiáng)調(diào)CS-3系統(tǒng)的易用性。在大模型訓(xùn)練中，與GPU相比，所需代碼減少了97%。開(kāi)發(fā)人員僅需565行代碼就可以實(shí)現(xiàn)與GPT-3大小模型相當(dāng)?shù)臉?biāo)準(zhǔn)實(shí)現(xiàn)，這大大降低了開(kāi)發(fā)門(mén)檻和復(fù)雜度。
阿聯(lián)酋的G42財(cái)團(tuán)已經(jīng)表示將打造基于Cerebras CS-3的Condor Galaxy 3超級(jí)計(jì)算機(jī)。這臺(tái)超級(jí)計(jì)算機(jī)將包含64個(gè)CS-3系統(tǒng)，提供高達(dá)8 exaFLOP的AI算力，為科研和工業(yè)領(lǐng)域的應(yīng)用提供強(qiáng)大的支持。
