【ITBEAR科技資訊】10月18日消息，英偉達(dá)，硬件領(lǐng)域的人工智能巨頭，邁向新的里程碑，推出了一項(xiàng)旨在提升大型語(yǔ)言模型(LLM)性能的軟件工具，適用于本地 Windows PC。英偉達(dá)的 GPU 在全球領(lǐng)先科技公司，如微軟和OpenAI的數(shù)據(jù)中心中發(fā)揮重要作用，驅(qū)動(dòng)著Bing Chat、ChatGPT等人工智能服務(wù)。TensorRT-LLM庫(kù)是英偉達(dá)最新的開源工具，原本是為數(shù)據(jù)中心開發(fā)的，現(xiàn)在已經(jīng)擴(kuò)展到Windows PC。最引人矚目的特性之一是，如果Windows PC搭載英偉達(dá)GeForce RTX GPU，TensorRT-LLM能夠?qū)LM在該平臺(tái)上的運(yùn)行速度提升至原有速度的四倍。
據(jù)ITBEAR科技資訊了解，英偉達(dá)在博客文章中詳細(xì)介紹了TensorRT-LLM對(duì)開發(fā)者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復(fù)雜的LLM任務(wù)，如寫作和編碼助手時(shí)，能夠同時(shí)輸出多個(gè)獨(dú)特的自動(dòng)完成結(jié)果，從而提高性能和結(jié)果質(zhì)量，讓用戶可以有更多智能的選擇。
文章中還舉例展示了TensorRT-LLM的運(yùn)作方式。當(dāng)提問“《心靈殺手 2》集成了NVIDIA的哪些技術(shù)?”時(shí)，傳統(tǒng)LLM只能給出“游戲尚未公布”的無幫助回答。然而，使用TensorRT-LLM結(jié)合RAG模型，將GeForce新聞添加到向量庫(kù)中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIA DLSS 3.5、NVIDIA Reflex和全景光線追蹤等技術(shù)，而且在TensorRT-LLM的加速下，響應(yīng)速度更加迅猛，為用戶提供更加智能的解決方案。
TensorRT-LLM預(yù)計(jì)將很快在英偉達(dá)的開發(fā)者網(wǎng)站上提供，這將為廣大開發(fā)者提供更強(qiáng)大的工具和資源，以更好地利用英偉達(dá)的GPU性能。
此外，英偉達(dá)還在最新的GeForce驅(qū)動(dòng)更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video Super Resolution功能的1.5版本，能夠在觀看在線視頻時(shí)提供更高的分辨率增強(qiáng)效果，減少了壓縮效果。此外，英偉達(dá)還為擁有GeForce RTX GPU的用戶增加了TensorRT人工智能加速功能，進(jìn)一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進(jìn)一步提高用戶體驗(yàn)，使其受益于英偉達(dá)強(qiáng)大的硬件和軟件創(chuàng)新。
