【ITBEAR】9月25日消息，2024百度云智大會(huì)在北京盛大召開(kāi)，標(biāo)志著大模型及其配套技術(shù)正迅速崛起為新一代基礎(chǔ)設(shè)施的核心。
百度智能云事業(yè)群總裁沈抖在大會(huì)上強(qiáng)調(diào)，大模型及其配套的算力管理平臺(tái)、模型和應(yīng)用開(kāi)發(fā)平臺(tái)正在加速成為行業(yè)的新基石。他指出，2024年大模型的產(chǎn)業(yè)應(yīng)用正在以前所未有的速度推進(jìn)，文心大模型在千帆大模型平臺(tái)上的日均調(diào)用量已超過(guò)7億次，累計(jì)幫助用戶精調(diào)了3萬(wàn)個(gè)大模型，并開(kāi)發(fā)出70多萬(wàn)個(gè)企業(yè)級(jí)應(yīng)用。尤為引人注目的是，過(guò)去一年中，文心旗艦大模型的降價(jià)幅度超過(guò)90%，主力模型更是全面免費(fèi)，極大地降低了企業(yè)創(chuàng)新和試錯(cuò)的成本。
據(jù)ITBEAR了解，為了滿足企業(yè)對(duì)于大模型落地的全方位需求，百度智能云發(fā)布了百舸AI異構(gòu)計(jì)算平臺(tái)4.0。這一升級(jí)版平臺(tái)面向萬(wàn)卡、十萬(wàn)卡集群全面升級(jí)了算力管理能力，致力于解決超大規(guī)模GPU集群的高成本與難運(yùn)營(yíng)兩大挑戰(zhàn)。
在集群創(chuàng)建階段，百舸4.0預(yù)置了主流的大模型訓(xùn)練工具，實(shí)現(xiàn)了工具層面的秒級(jí)部署，將萬(wàn)卡集群的運(yùn)行準(zhǔn)備時(shí)間從幾周縮減至1小時(shí)，顯著提升了部署效率。開(kāi)發(fā)實(shí)驗(yàn)階段，百舸4.0升級(jí)后的可觀測(cè)大盤能夠?qū)Χ嘈具m配、集群效能、任務(wù)自動(dòng)容錯(cuò)等方面進(jìn)行全方位監(jiān)測(cè)，為用戶提供直觀決策依據(jù)。
百度智能云事業(yè)群總裁沈抖在大會(huì)上介紹新技術(shù)
在模型訓(xùn)練階段，百舸4.0通過(guò)一系列創(chuàng)新，實(shí)現(xiàn)了接近無(wú)損的集群容錯(cuò)，有效訓(xùn)練時(shí)長(zhǎng)占比在萬(wàn)卡集群上達(dá)到99.5%以上，業(yè)界領(lǐng)先。同時(shí)，通過(guò)集群設(shè)計(jì)、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等技術(shù)，百舸4.0大幅提升了集群的模型訓(xùn)練效率，整體性能相比業(yè)界平均水平提升高達(dá)30%。
面向未來(lái)，沈抖預(yù)測(cè)，大模型的Scaling Law將在一段時(shí)間內(nèi)持續(xù)有效，并預(yù)計(jì)很快會(huì)有更多的十萬(wàn)卡集群出現(xiàn)。然而，管理十萬(wàn)卡集群的難度遠(yuǎn)超萬(wàn)卡集群，對(duì)物理空間、能耗以及網(wǎng)絡(luò)通信都提出了巨大挑戰(zhàn)。針對(duì)這些難題，百舸4.0已經(jīng)構(gòu)建了十萬(wàn)卡級(jí)別的超大規(guī)模無(wú)擁塞HPN高性能網(wǎng)絡(luò)、10ms級(jí)別超高精度網(wǎng)絡(luò)監(jiān)控，以及面向十萬(wàn)卡集群的分鐘級(jí)故障恢復(fù)能力。
會(huì)上，生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝宣布，其公司開(kāi)發(fā)的國(guó)內(nèi)首款全面對(duì)標(biāo)OpenAI Sora的視頻大模型“Vidu”將通過(guò)百度智能云千帆大模型平臺(tái)面向開(kāi)發(fā)者、企業(yè)用戶開(kāi)放API服務(wù)。同時(shí)，對(duì)于自建智算中心的客戶，百舸4.0對(duì)“一云多芯”能力進(jìn)行了升級(jí)，多芯混合訓(xùn)練效能高達(dá)95%，保持業(yè)界領(lǐng)先。
此外，百度智能云還發(fā)布了千帆大模型平臺(tái)3.0，全面升級(jí)了模型調(diào)用、模型開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)三大服務(wù)。升級(jí)后的千帆平臺(tái)不僅支持調(diào)用包括文心系列大模型在內(nèi)的近百個(gè)國(guó)內(nèi)外大模型，還支持調(diào)用各種傳統(tǒng)的小模型，并持續(xù)降低模型調(diào)用成本。在模型開(kāi)發(fā)方面，千帆3.0提供了最完善的大模型工具鏈，并支持一站式的大、小模型開(kāi)發(fā)服務(wù)。
沈抖還在現(xiàn)場(chǎng)演示了如何通過(guò)對(duì)話，在AI速搭平臺(tái)上開(kāi)發(fā)一個(gè)資產(chǎn)管理應(yīng)用，只需一句話描述需求，大模型就能清晰理解并生成應(yīng)用，極大地縮短了開(kāi)發(fā)時(shí)間。
此次大會(huì)還展示了百度智能云在多個(gè)行業(yè)的成功應(yīng)用案例，包括三星電子、獵聘、考試寶等，這些企業(yè)通過(guò)利用百度智能云的技術(shù)和平臺(tái)，實(shí)現(xiàn)了業(yè)務(wù)效率的大幅提升和創(chuàng)新能力的增強(qiáng)。
關(guān)鍵詞：#百度智能云# #大模型# #算力管理# #千帆平臺(tái)# #產(chǎn)業(yè)應(yīng)用#
