在今年的AWS re:Invent大會上，亞馬遜云科技（AWS）罕見地公開了大量關(guān)于其硬件基礎(chǔ)設(shè)施和芯片的詳細(xì)信息，包括自研服務(wù)器CPU Graviton系列、自研AI芯片Trainium系列、AI超級服務(wù)器以及全球最大的AI服務(wù)器集群等。這一前所未有的分享不僅展示了AWS在硬件基礎(chǔ)設(shè)施方面的深厚積累，還揭示了從CPU研發(fā)策略到AI網(wǎng)絡(luò)的各種底層技術(shù)創(chuàng)新。
在大會期間，AWS計(jì)算與網(wǎng)絡(luò)副總裁Dave Brown與少數(shù)媒體進(jìn)行了深入交流，進(jìn)一步探討了基礎(chǔ)設(shè)施與芯片研發(fā)的策略和細(xì)節(jié)。他透露，Trainium3幾乎所有設(shè)計(jì)都將圍繞生成式AI展開，并采用了3nm工藝，算力是上一代的兩倍，功耗降低了40%。他還預(yù)告，AWS預(yù)計(jì)明年將陸續(xù)發(fā)布更多技術(shù)細(xì)節(jié)。
AWS的自研服務(wù)器CPU和AI芯片已在數(shù)據(jù)中心得到廣泛應(yīng)用，吸引了包括蘋果在內(nèi)的眾多知名IT企業(yè)。蘋果在構(gòu)建Apple Intelligence等AI服務(wù)時，就采用了AWS的Graviton3、Inferentia2和Trainium2等自研芯片。
Dave Brown指出，AWS在設(shè)計(jì)芯片時，并不以贏得基準(zhǔn)測試為目標(biāo)，而是專注于實(shí)際工作負(fù)載性能。他認(rèn)為，優(yōu)化基準(zhǔn)測試就像通過短跑訓(xùn)練馬拉松，而實(shí)際工作負(fù)載往往是混亂且不可預(yù)測的，與基準(zhǔn)測試大相徑庭。例如，Graviton3在微基準(zhǔn)測試中性能提升了25%，但在運(yùn)行真實(shí)MySQL工作負(fù)載時，性能提升了40%。
AWS在芯片設(shè)計(jì)中采用了多項(xiàng)關(guān)鍵技術(shù)，包括先進(jìn)封裝和背面供電。Graviton4就采用了先進(jìn)封裝技術(shù)，通過中介層將多個Chiplet連接在一起，有效增加了核心數(shù)量。而Trainium2則引入了背面供電技術(shù)，減少了布線擁塞，提高了能效。
在AI硬件方面，AWS推出了多個重磅產(chǎn)品。其中，Project Rainier是一個與Anthropic合作的超級服務(wù)器集群，擁有數(shù)十萬顆Trainium2芯片，計(jì)算能力是目前Anthropic用于訓(xùn)練Claude模型的5倍。AWS還推出了Trainium2超級服務(wù)器，連接了4個計(jì)算節(jié)點(diǎn)，集成了64個Trainium2芯片，峰值算力高達(dá)83.2PFLOPS，稀疏算力更是達(dá)到了332.8PFLOPS。
為了支撐這些強(qiáng)大的AI硬件，AWS還構(gòu)建了高效的AI網(wǎng)絡(luò)。他們采用了10p10u網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了10Pbps傳輸帶寬和10μs網(wǎng)絡(luò)延遲，并通過定制光纖電纜、光纖插頭和混合式路由協(xié)議等技術(shù)手段，提高了網(wǎng)絡(luò)的可靠性和擴(kuò)展性。
AWS的自研芯片不僅在性能上表現(xiàn)出色，還在成本、規(guī)模、落地速度和穩(wěn)定性等方面具有顯著優(yōu)勢。例如，使用Trainium2可以將成本較H100降低50%，這對于客戶來說具有極大的吸引力。同時，AWS還與英特爾、臺積電等企業(yè)建立了緊密的合作關(guān)系，確保了芯片的產(chǎn)能和穩(wěn)定性。
隨著生成式AI的興起，市場對高性能、高性價比、靈活可定制的AI基礎(chǔ)設(shè)施的需求日益增長。AWS在AI基礎(chǔ)設(shè)施底層技術(shù)與工程上的探索與創(chuàng)新，為業(yè)界提供了一個既能適應(yīng)客戶業(yè)務(wù)需求、降低系統(tǒng)復(fù)雜性又能提高供應(yīng)鏈話語權(quán)的優(yōu)秀范例。
AWS的自研芯片戰(zhàn)略不僅提升了其自身的競爭力，也為整個云計(jì)算行業(yè)樹立了新的標(biāo)桿。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，AWS將繼續(xù)在硬件基礎(chǔ)設(shè)施和芯片研發(fā)方面投入更多資源，推動云計(jì)算行業(yè)的持續(xù)創(chuàng)新和發(fā)展。
