ITBear旗下自媒體矩陣:

全球首顆Transformer AI芯片Sohu發(fā)布:每秒處理速度達(dá)50萬tokens

   時間:2024-06-26 12:17:51 來源:ITBEAR編輯:茹茹 發(fā)表評論無障礙通道

【ITBEAR科技資訊】6月26日消息,近日,Etched公司成功完成了1.2億美元(折合人民幣約8.73億元)的A輪融資,這筆資金將被投入到全球首款專為Transformer架構(gòu)設(shè)計的ASIC芯片——Sohu的開發(fā)與銷售中。

Etched公司,這家由哈佛大學(xué)輟學(xué)生加文?烏伯蒂(Gavin Uberti)和克里斯?朱(Chris Zhu)創(chuàng)立、運營時間不足2年的初創(chuàng)企業(yè),正以其獨特的技術(shù)視角和創(chuàng)新力量,引領(lǐng)著人工智能硬件的新潮流。

據(jù)ITBEAR科技資訊了解,Sohu芯片的最大突破在于它直接將Transformer架構(gòu)蝕刻到芯片中,從而實現(xiàn)了硬件與算法的深度融合。烏伯蒂透露,Sohu芯片采用了臺積電的4納米工藝,這使得其推理性能顯著優(yōu)于傳統(tǒng)的GPU和其他通用AI芯片,同時在能耗方面也有更出色的表現(xiàn)。

在性能測試中,以Llama 70B為基準(zhǔn),Sohu芯片每秒能處理超過50萬個tokens,這一速度為用戶構(gòu)建出了GPU無法實現(xiàn)的產(chǎn)品提供了可能。此外,Sohu還具備實時語音代理、毫秒級處理大量文本、強(qiáng)大的代碼樹搜索、并行比較多個響應(yīng)、多播推測解碼以及實時生成新內(nèi)容等先進(jìn)功能,為運行未來萬億級參數(shù)模型鋪平了道路。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內(nèi)容
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  版權(quán)聲明  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報  |  開放轉(zhuǎn)載  |  滾動資訊  |  English Version