【ITBEAR科技資訊】7月19日消息，商湯科技在智能汽車領(lǐng)域取得了重大突破。商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛在17日宣布，商湯絕影已成功在行業(yè)內(nèi)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署。這一創(chuàng)新技術(shù)的推出，標(biāo)志著智能汽車在人工智能領(lǐng)域邁出了重要一步。
據(jù)了解，商湯絕影的車載端側(cè)8B模型在性能上表現(xiàn)出色，首包延遲控制在300毫秒以內(nèi)，同時(shí)推理速度高達(dá)40 Tokens/秒，該技術(shù)還能夠覆蓋主流算力平臺(tái)。為了支持這一強(qiáng)大功能，商湯絕影專門開發(fā)了名為“HyperPPL”的計(jì)算引擎。該引擎不僅擴(kuò)展并支持了主流車載計(jì)算硬件，還兼容多種主流操作系統(tǒng)，并能適配多個(gè)車載芯片的部署平臺(tái)。
HyperPPL針對(duì)車載多人場(chǎng)景進(jìn)行了優(yōu)化。這意味著，在車內(nèi)多人并發(fā)使用的情況下，車端多模態(tài)大模型的推理效率并不會(huì)明顯降低，從而確保了用戶體驗(yàn)的流暢性。
據(jù)ITBEAR科技資訊了解，商湯絕影的技術(shù)實(shí)力已得到實(shí)際應(yīng)用驗(yàn)證。深圳首條自動(dòng)駕駛公交線路便采用了商湯絕影的車輛與技術(shù)，實(shí)現(xiàn)了所有駕駛操作的無人員介入。這一成就不僅彰顯了商湯絕影在自動(dòng)駕駛技術(shù)領(lǐng)域的領(lǐng)先地位，也為未來智能交通的發(fā)展提供了有力支持。
展望未來，隨著技術(shù)的不斷進(jìn)步，更高算力的車載芯片即將問世。據(jù)悉，明年英偉達(dá)將推出上千TOPS算力的車載芯片?；谶@一更高算力的計(jì)算平臺(tái)，商湯絕影預(yù)計(jì)其多模態(tài)大模型車端部署方案的首包延遲將大幅降低，同時(shí)推理速度也將進(jìn)一步提高。
