在過去幾年時間里,NVIDIA 深耕 AI 領域,他們的 GPU 不僅成為 HPC 的首選,也成為包括 AI 和深度學習生態(tài)系統(tǒng)在內的數據中心的首選。在最新公布的開發(fā)者博文中,NVIDIA 宣布正利用 AI 來設計和開發(fā) GPU,其最新的 Hopper GPU 擁有將近 13000 個電路實例,而這些實例完全由 AI 創(chuàng)建。
在 NVIDIA Develope 上發(fā)布的新博客中,該公司重申了其優(yōu)勢以及它自己如何利用其 AI 功能來設計其迄今為止最強大的 GPU--Hopper H100。 NVIDIA GPU 主要是使用最先進的 EDA(電子設計自動化)工具設計的,但在利用 PrefixRL 方法的 AI 的幫助下,使用深度強化學習優(yōu)化并行前綴電路,公司可以設計更小、更快、更節(jié)能的芯片,同時提供更好的性能。
計算機芯片中的算術電路是使用邏輯門網絡(如 NAND、NOR 和 XOR)和電線構成的。理想的電路應具有以下特點:
● ?。狠^小的區(qū)域,以便更多電路可以安裝在芯片上。
● 快速:降低延遲以提高芯片的性能。
● 消耗更少的功率:芯片的功耗更低。
NVIDIA 使用這種方法設計了近 13000 個 AI 輔助電路,與同樣快速且功能相同的 EDA 工具相比,它們的面積減少了 25%。但是 PrefixRL 被提到是一項計算要求非常高的任務,并且對于每個 GPU 的物理模擬,它需要 256 個 CPU 和超過 32,000 個 GPU 小時。為了消除這個瓶頸,NVIDIA 開發(fā)了 Raptor,這是一個內部分布式強化學習平臺,它特別利用 NVIDIA 硬件進行這種工業(yè)強化學習。
Raptor 具有多項可提高可擴展性和訓練速度的功能,例如作業(yè)調度、自定義網絡和 GPU 感知數據結構。在 PrefixRL 的上下文中,Raptor 使得跨 CPU、GPU 和 Spot 實例的混合分配工作成為可能。
這個強化學習應用程序中的網絡是多種多樣的,并且受益于以下幾點。
● Raptor 在 NCCL 之間切換以進行點對點傳輸以將模型參數直接從學習器 GPU 傳輸到推理 GPU 的能力。
● Redis 用于異步和較小的消息,例如獎勵或統(tǒng)計信息。
● 一種 JIT 編譯的 RPC,用于處理大容量和低延遲的請求,例如上傳體驗數據。
NVIDIA 得出結論,將 AI 應用于現實世界的電路設計問題可以在未來帶來更好的 GPU 設計。完整的論文在此處,您也可以在此處訪問開發(fā)人員博客以獲取更多信息。