北京時(shí)間 9 月 9 日，MLCommons 社區(qū)發(fā)布了最新的 MLPerf 2.1 基準(zhǔn)測試結(jié)果，新一輪基準(zhǔn)測試擁有近 5300 個(gè)性能結(jié)果和 2400 個(gè)功耗測量結(jié)果，分別比上一輪提升了 1.37 倍和 1.09 倍，MLPerf 的適用范圍進(jìn)一步擴(kuò)大。
阿里巴巴、華碩、Azure、壁仞科技、戴爾、富士通、技嘉、H3C、HPE、浪潮、英特爾、Krai、聯(lián)想、Moffett、Nettrix、Neural Magic、英偉達(dá)、OctoML、高通、SAPEON 和 Supermicro 均是本輪測試的貢獻(xiàn)者。
其中，英偉達(dá)表現(xiàn)依然亮眼，首次攜 H100 參加 MLPerf 測試，并在所有工作負(fù)載中刷新世界紀(jì)錄。
H100 打破世界記錄，較 A100 性能提升 4.5 倍
英偉達(dá)于今年 3 月份發(fā)布基于新架構(gòu) NVIDIA Hopper 的 H100 GPU，與兩年前推出的 NVIDIA Ampere 架構(gòu)相比，實(shí)現(xiàn)了數(shù)量級的性能飛躍。黃仁勛曾在 GTC 2022 上表示，20 個(gè) H100 GPU 便可以承托相當(dāng)于全球互聯(lián)網(wǎng)的流量，能夠幫助客戶推出先進(jìn)的推薦系統(tǒng)及實(shí)時(shí)運(yùn)行數(shù)據(jù)推理的大型語言模型。
令一眾 AI 從業(yè)者期待的 H100 原本定于 2022 年第三季度正式發(fā)貨，目前處于接受預(yù)定狀態(tài)，用戶的真實(shí)使用情況和 H100 的實(shí)際性能尚不可知，因此可以通過最新一輪的 MLPerf 測試得分提前感受 H100 的性能。
在本輪測試中，對比 Intel Sapphire Rapids、Qualcomm Cloud AI 100、Biren BR104、SAPEON X220-enterprise，NVIDIA H100 不僅提交了數(shù)據(jù)中心所有六個(gè)神經(jīng)網(wǎng)絡(luò)模型的測試成績，且在單個(gè)服務(wù)器和離線場景中均展現(xiàn)出吞吐量和速度方面的領(lǐng)先優(yōu)勢。
以 NVIDIA A100 相比，H100 在 MLPerf 模型規(guī)模最大且對性能要求最高的模型之一 —— 用于自然語言處理的 BERT 模型中表現(xiàn)出 4.5 倍的性能提升，在其他五個(gè)模型中也都有 1 至 3 倍的性能提升。H100 之所以能夠在 BERT 模型上表現(xiàn)初出色，主要?dú)w功于其 Transformer Engine。
其他同樣提交了成績的產(chǎn)品中，只有 Biren BR104 在離線場景中的 ResNet50 和 BERT-Large 模型下，相比 NVIDIA A100 有一倍多的性能提升，其他提交成績的產(chǎn)品均未在性能上超越 A100。
而在數(shù)據(jù)中心和邊緣計(jì)算類別的場景中，A100 GPU 的測試成績依然不俗，得益于 NVIDIA AI 軟件的不斷改進(jìn)，與 2020 年 7 月首次亮相 MLPerf 相比，A100 GPU 實(shí)現(xiàn)了 6 倍的性能提升。
追求 AI 通用性，測試成績覆蓋所有 AI 模型
由于用戶在實(shí)際應(yīng)用中通常需要采用許多不同類型的神經(jīng)網(wǎng)絡(luò)協(xié)同工作，例如一個(gè) AI 應(yīng)用可能需要理解用戶的語音請求、對圖像進(jìn)行分類、提出建議，然后以語音回應(yīng)，每個(gè)步驟都需要用到不同的 AI 模型。
正因如此，MLPerf 基準(zhǔn)測試涵蓋了包括計(jì)算機(jī)視覺、自然語言處理、推薦系統(tǒng)、語音識(shí)別等流行的 AI 工作負(fù)載和場景，以便于確保用戶獲得可靠且部署靈活的性能。這也意味著，提交的測試成績覆蓋的模型越多，成績越好，其 AI 能力更加具備通用性。
在此輪測試中，英偉達(dá) AI 依然是唯一能夠在數(shù)據(jù)中心和邊緣計(jì)算中運(yùn)行所有 MLPerf 推理工作負(fù)載和場景的平臺(tái)。
在數(shù)據(jù)中心方面，A100 和 H100 都提交了六個(gè)模型測試成績。
在邊緣計(jì)算方面，NVIDIA Orin 運(yùn)行了所有 MLPerf 基準(zhǔn)測試，且是所有低功耗系統(tǒng)級芯片中贏得測試最多的芯片。
Orin 是將 NVIDIA Ampere 架構(gòu) GPU 和 Arm CPU 內(nèi)核集成到一塊芯片中，主要用于機(jī)器人、自主機(jī)器、醫(yī)療機(jī)械和其他形式的邊緣嵌入式計(jì)算。
目前，Orin 已經(jīng)被用在 NVIDIA Jetson AGX Orin 開發(fā)者套件以及機(jī)器人和自主系統(tǒng)生成模考，并支持完整的 NVIDIA AI 軟件堆棧，包括自動(dòng)駕駛汽車平臺(tái)、醫(yī)療設(shè)備平臺(tái)和機(jī)器人平臺(tái)。
與 4 月在 MLPerf 上的首次亮相相比，Orin 能效提高了 50%，其運(yùn)行速度和平均能效分別比上一代 Jetson AGX Xavier 模塊高出 5 倍和 2 倍。
追求通用型的 NVIDIA AI 正在被業(yè)界廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)支持。在這一輪基準(zhǔn)測試中，有超過 70 項(xiàng)提交結(jié)果在 NVIDIA 平臺(tái)上運(yùn)行。例如，Microsoft Azure 提交了在其云服務(wù)上運(yùn)行 NVIDIA AI 的結(jié)果。
