近日，NVIDIA正式揭曉了全新一代GPU架構(gòu)“安培”(Ampere)，其龐大的規(guī)模、精妙的架構(gòu)令人驚嘆，同時(shí)不出意外、一如既往，首發(fā)核心又被割了一刀。
首先需要注意的是，不同于此前首發(fā)帕斯卡架構(gòu)的Tesla P100、伏特架構(gòu)的Tesla V100，這次的新計(jì)算卡被簡(jiǎn)單地叫做“A100”，并沒(méi)有冠以Tesla的品牌序列，具體原因不詳，可能是想用于更廣泛領(lǐng)域。
與此同時(shí)，新的核心則被叫做“A100 Tensor Core GPU”，突出張量核心的關(guān)鍵作用，而核心代號(hào)按慣例延續(xù)為GA100。
GA100設(shè)計(jì)了8組GPC(GPU處理集群)，每一組GPC里又分為8組TPC(紋理處理集群)，而每組又分為兩組SM(流式多處理器)，然后每組SM包含64個(gè)FP32 CUDA核心(流處理器)。
這樣一來(lái)，一顆完整的GA100芯片就一共有128組SM、8196個(gè)流處理器，而這種分組結(jié)構(gòu)和以往的NVIDIA GPU架構(gòu)是一致的。
同時(shí)，每一組SM里還有4個(gè)第三代Tensor核心，整顆芯片內(nèi)共計(jì)512個(gè)，外部則搭配六顆HBM2顯存，每顆8GB，12個(gè)512-bit控制器，總位寬6144-bit。
另外，二級(jí)緩存從6MB猛增至40MB，每組SM單元的共享內(nèi)存從最多96KB增至164KB、寄存器容量還是256KB，但整顆芯片寄存器達(dá)到27MB。
GA100芯片采用臺(tái)積電第一代7nm(N7)工藝制造，核心面積達(dá)826平方毫米，相比上代12nm GV100僅增大了11平方毫米(0.13%)，但晶體管數(shù)量從211億個(gè)猛增至542億個(gè)，多了接近1.6倍，同時(shí)功耗控制在400W(增加33%)，可見(jiàn)新架構(gòu)和新工藝的威力。
如此龐大的核心在量產(chǎn)初期顯然會(huì)受制于良品率問(wèn)題，所以實(shí)際使用的A100核心未達(dá)成完整規(guī)格，但和以往簡(jiǎn)單屏蔽整組計(jì)算單元不同，這次砍得略有些復(fù)雜。
GPC單元屏蔽了整整一組，但剩余的也并未全部開(kāi)啟，其中兩組GPC也各自屏蔽了一個(gè)TPC(兩組SM)，導(dǎo)致總的SM單元為108個(gè)、流處理器為6912個(gè)、Tensor核心為432個(gè)。
核心加速頻率1410MHz，比前兩代其實(shí)都低了，但整體性能在飛躍。
顯存也沒(méi)有逃過(guò)刀法，只開(kāi)啟了五組HBM2，所以總?cè)萘繛?0GB，總位寬為5120-bit，頻率1215MHz，帶寬1555GB/s，比上代增加73%。
具體到每個(gè)SM單元，其中的Tensor核心數(shù)量雖然從8個(gè)減少到4個(gè)，但每一個(gè)每時(shí)鐘周期都支持多達(dá)256個(gè)FP16FP FMA操作，合計(jì)就是1024個(gè)，相比伏特、圖靈架構(gòu)翻了一番。
新的Tensor核心還支持對(duì)所有數(shù)據(jù)類(lèi)型加速，包括FP16、BF16、TF32、FP64、INT8、INT4、Binary。
更精細(xì)的專(zhuān)業(yè)細(xì)節(jié)這里就不展開(kāi)了，你們也沒(méi)啥興趣。
三代架構(gòu)首發(fā)核心規(guī)模對(duì)比
