【ITBEAR科技資訊】9月9日消息，英偉達(dá)公司今日宣布推出了一項(xiàng)名為TensorRT-LLM的創(chuàng)新項(xiàng)目，旨在大幅提升其Hopper系列AI GPU上的語(yǔ)言模型推理性能。根據(jù)英偉達(dá)的介紹，TensorRT-LLM是一款深度優(yōu)化的開源庫(kù)，利用了一系列尖端技術(shù)，包括SmoothQuant、FlashAttention和fMHA等，以加速處理大型語(yǔ)言模型，如GPT-3(175 B)、Llama Falcom(180 B)和Bloom等模型。
據(jù)悉，TensorRT-LLM的一個(gè)顯著特點(diǎn)是引入了一種名為In-Flight Batching的調(diào)度方案，這使得GPU能夠在處理大型計(jì)算密集型請(qǐng)求時(shí)，同時(shí)動(dòng)態(tài)處理多個(gè)較小的查詢。這一創(chuàng)新性的方案不僅提高了GPU的性能，還使得H100型號(hào)的吞吐量提高了2倍。
在性能測(cè)試方面，英偉達(dá)以A100作為基準(zhǔn)，對(duì)比了H100和啟用了TensorRT-LLM的H100。在GPT-J 6B模型的推理性能測(cè)試中，H100相比A100提升了4倍，而啟用了TensorRT-LLM的H100性能更是達(dá)到了A100的8倍。而在Llama 2模型上，H100相比A100提升了2.6倍，而啟用了TensorRT-LLM的H100性能則高達(dá)A100的4.6倍。
這一重大突破意味著英偉達(dá)將繼續(xù)領(lǐng)導(dǎo)AI硬件領(lǐng)域的發(fā)展，通過(guò)優(yōu)化其GPU性能，為大型語(yǔ)言模型等計(jì)算密集型任務(wù)提供更快速和高效的計(jì)算支持。據(jù)ITBEAR科技資訊了解，這將對(duì)人工智能應(yīng)用在各個(gè)領(lǐng)域的發(fā)展產(chǎn)生積極影響，為未來(lái)的科技創(chuàng)新打開更廣闊的可能性。
