【ITBEAR】9月25日消息，在2024百度云智大會(huì)上，百度智能云宣布了其百舸AI異構(gòu)計(jì)算平臺(tái)的重大升級(jí)，正式推出4.0版本。這一升級(jí)版本緊密?chē)@大模型全旅程的算力需求，致力于為企業(yè)提供“多、快、穩(wěn)、省”的AI基礎(chǔ)設(shè)施服務(wù)，全面覆蓋集群創(chuàng)建、開(kāi)發(fā)實(shí)驗(yàn)、模型訓(xùn)練及模型推理四大核心環(huán)節(jié)。
據(jù)ITBEAR了解，針對(duì)當(dāng)前算力資源短缺的普遍問(wèn)題，百舸4.0版本重點(diǎn)強(qiáng)化了“多芯混訓(xùn)”能力，成功實(shí)現(xiàn)了在萬(wàn)卡規(guī)模集群上高達(dá)95%的多芯混合訓(xùn)練效能，達(dá)到了業(yè)界領(lǐng)先水平。此外，在集群部署環(huán)節(jié)，升級(jí)后的百舸顯著提升了部署效率，能夠?qū)⑷f(wàn)卡集群的運(yùn)行準(zhǔn)備時(shí)間從以往的數(shù)周縮短至最快1小時(shí)，極大縮短了業(yè)務(wù)上線(xiàn)周期。
針對(duì)大模型訓(xùn)練過(guò)程中頻繁出現(xiàn)的故障問(wèn)題，百舸4.0版本全面升級(jí)了故障檢測(cè)手段和自動(dòng)容錯(cuò)機(jī)制，有效降低了故障發(fā)生頻次，并大幅減少了集群故障處置時(shí)間，確保在萬(wàn)卡集群上實(shí)現(xiàn)超過(guò)99.5%的有效訓(xùn)練時(shí)長(zhǎng)。在模型推理方面，鑒于長(zhǎng)文本推理逐漸成為主流趨勢(shì)，百舸4.0版本對(duì)推理速度和成本進(jìn)行了全面優(yōu)化，使得長(zhǎng)文本推理效率提升了1倍以上。
此次百度智能云百舸AI異構(gòu)計(jì)算平臺(tái)的全面升級(jí)，無(wú)疑將為企業(yè)提供更高效、更穩(wěn)定的AI基礎(chǔ)設(shè)施服務(wù)，助力企業(yè)在AI領(lǐng)域的快速發(fā)展。#百度智能云# #百舸AI異構(gòu)計(jì)算平臺(tái)# #大模型訓(xùn)練# #模型推理# #算力資源#
