近日，由環(huán)球時(shí)報(bào)、中國(guó)科協(xié)新技術(shù)開(kāi)發(fā)中心及清華大學(xué)技術(shù)創(chuàng)新研究中心攜手舉辦的新質(zhì)生產(chǎn)力產(chǎn)業(yè)實(shí)踐洞見(jiàn)活動(dòng)在京拉開(kāi)帷幕。此次活動(dòng)匯聚了業(yè)界眾多精英，共同探討大模型產(chǎn)業(yè)的現(xiàn)狀與未來(lái)。
活動(dòng)中，清華大學(xué)計(jì)算機(jī)系教授、中國(guó)工程院院士鄭緯民發(fā)表了深刻見(jiàn)解。他指出，2024年，國(guó)內(nèi)大模型產(chǎn)業(yè)展現(xiàn)出兩大顯著趨勢(shì)：一是從基礎(chǔ)大模型向多模態(tài)的拓展，二是大模型與行業(yè)應(yīng)用的深度融合。鄭院士認(rèn)為，中國(guó)在推進(jìn)大模型與行業(yè)結(jié)合方面具有顯著優(yōu)勢(shì)，有望在全球范圍內(nèi)領(lǐng)先。
鄭緯民院士詳細(xì)剖析了大模型生命周期的五個(gè)核心環(huán)節(jié)及其面臨的挑戰(zhàn)。首先是數(shù)據(jù)獲取環(huán)節(jié)，面對(duì)海量的數(shù)據(jù)文件，如何高效讀取和處理成為一大難題。緊接著是數(shù)據(jù)預(yù)處理環(huán)節(jié)，由于原始數(shù)據(jù)質(zhì)量參差不齊，直接用于訓(xùn)練效果不佳，需經(jīng)過(guò)繁瑣的預(yù)處理流程。以GPT-4為例，其訓(xùn)練過(guò)程中有近半時(shí)間用于數(shù)據(jù)預(yù)處理，效率亟待提升。
在數(shù)據(jù)預(yù)處理方面，當(dāng)前主流軟件Spark雖具有生態(tài)完善、可擴(kuò)展性和容錯(cuò)性強(qiáng)的優(yōu)勢(shì)，但處理速度較慢且內(nèi)存占用高。針對(duì)這一問(wèn)題，清華大學(xué)的研究團(tuán)隊(duì)通過(guò)部分模塊采用C++編寫及優(yōu)化內(nèi)存占用等方法，有望將預(yù)處理時(shí)間減半。
模型訓(xùn)練環(huán)節(jié)則對(duì)計(jì)算、存儲(chǔ)等資源提出了更高要求。鄭緯民院士強(qiáng)調(diào)了訓(xùn)練過(guò)程中的可靠性問(wèn)題，指出即使是世界先進(jìn)水平的系統(tǒng)，也難免出現(xiàn)錯(cuò)誤，嚴(yán)重影響訓(xùn)練效率。業(yè)內(nèi)正積極探索更高效的讀寫方案，以應(yīng)對(duì)這一挑戰(zhàn)。
模型微調(diào)環(huán)節(jié)則是將基礎(chǔ)大模型針對(duì)特定行業(yè)或場(chǎng)景進(jìn)行二次訓(xùn)練，以獲取更加精準(zhǔn)的結(jié)果。例如，在醫(yī)療領(lǐng)域，可在基礎(chǔ)大模型基礎(chǔ)上結(jié)合醫(yī)院數(shù)據(jù)進(jìn)行二次訓(xùn)練，形成醫(yī)療領(lǐng)域的大模型，進(jìn)而針對(duì)更細(xì)分的領(lǐng)域進(jìn)行多次訓(xùn)練，以不斷提升模型的精準(zhǔn)度和實(shí)用性。
最后一個(gè)環(huán)節(jié)是推理，即將訓(xùn)練好的大模型應(yīng)用于實(shí)際場(chǎng)景中，實(shí)現(xiàn)其價(jià)值。
鄭緯民院士還指出，AI芯片作為大模型產(chǎn)業(yè)的焦點(diǎn)，國(guó)產(chǎn)AI芯片在近年來(lái)取得了顯著進(jìn)步，但生態(tài)問(wèn)題仍是制約其發(fā)展的關(guān)鍵因素。構(gòu)建國(guó)產(chǎn)萬(wàn)卡系統(tǒng)和異構(gòu)卡聯(lián)合訓(xùn)練成為業(yè)界共同努力的方向。
科大訊飛聯(lián)合創(chuàng)始人、高級(jí)副總裁江濤在活動(dòng)中透露，科大訊飛與華為聯(lián)合推出了國(guó)內(nèi)首個(gè)萬(wàn)卡規(guī)模大模型算力平臺(tái)“飛星一號(hào)”，該平臺(tái)能夠?qū)崿F(xiàn)大模型訓(xùn)練推理一體化設(shè)計(jì)，有效解決大模型時(shí)代的“卡脖子”問(wèn)題。在此基礎(chǔ)上，訊飛星火大模型已迭代至4.0 Turbo版本，綜合指標(biāo)已達(dá)到GPT-4 Turbo水平，并在數(shù)學(xué)能力和代碼能力上超越GPT-4。
華為云大數(shù)據(jù)與AI領(lǐng)域總裁尤鵬則分享了對(duì)未來(lái)基礎(chǔ)模型發(fā)展趨勢(shì)的看法。他認(rèn)為，未來(lái)基礎(chǔ)模型可能會(huì)收斂到少數(shù)幾家，而大部分企業(yè)將專注于行業(yè)模型的開(kāi)發(fā)和行業(yè)落地。同時(shí)，他提出了三個(gè)觀點(diǎn)：一是并非每個(gè)企業(yè)都需要大規(guī)模建設(shè)AI算力，云的方式可以更快速、高效地解決AI訓(xùn)練、增訓(xùn)和推理問(wèn)題；二是選擇業(yè)界主流基礎(chǔ)模型應(yīng)用于自己的場(chǎng)景是較為經(jīng)濟(jì)的選擇；三是大模型與小模型將并存發(fā)展，未來(lái)大模型系統(tǒng)將是一個(gè)混合工程的平臺(tái)，通過(guò)大模型調(diào)度小模型，實(shí)現(xiàn)資源的優(yōu)化配置。
