【ITBEAR】近期，據(jù)外媒報(bào)道，谷歌在提升其聊天機(jī)器人產(chǎn)品Gemini的性能方面遇到了挑戰(zhàn)。據(jù)內(nèi)部人士透露，盡管公司投入了大量算力和訓(xùn)練數(shù)據(jù)，但Gemini的性能提升并未達(dá)到預(yù)期速度，這一困境與OpenAI近期的遭遇頗為相似。
谷歌在AI領(lǐng)域的野心一直不小，特別是在算力資源方面擁有顯著優(yōu)勢(shì)。然而，這種優(yōu)勢(shì)并未能如愿轉(zhuǎn)化為Gemini模型性能的顯著提升。據(jù)報(bào)道，研究人員在投入更多數(shù)據(jù)和算力后，發(fā)現(xiàn)過(guò)去版本的Gemini大模型改進(jìn)速度反而更快，這一現(xiàn)象引發(fā)了業(yè)內(nèi)對(duì)scaling law（縮放定律）有效性的質(zhì)疑。
scaling law曾被視為AI模型性能提升的“金鑰匙”，許多研究人員認(rèn)為，只要使用更專業(yè)的AI芯片處理更多數(shù)據(jù)，模型就能以相同的速度不斷改進(jìn)。然而，谷歌和OpenAI的遭遇表明，這兩個(gè)因素似乎并不足以解決所有問(wèn)題。谷歌內(nèi)部人士透露，公司在開(kāi)發(fā)Gemini的過(guò)程中發(fā)現(xiàn)，用于訓(xùn)練的數(shù)據(jù)中存在大量重復(fù)信息，這可能損害了模型的性能。
為了應(yīng)對(duì)這一挑戰(zhàn)，谷歌正在重新考慮其數(shù)據(jù)處理策略，并在數(shù)據(jù)上加大投資。同時(shí)，公司還在加快模型的響應(yīng)速度，這對(duì)于以谷歌的規(guī)模提供AI服務(wù)至關(guān)重要。谷歌還效仿OpenAI，在其Gemini部門(mén)內(nèi)組建了一個(gè)團(tuán)隊(duì)，致力于開(kāi)發(fā)類似OpenAI推理模型的能力。
這個(gè)新團(tuán)隊(duì)由DeepMind的首席研究科學(xué)家Jack Rae和前Character.AI聯(lián)合創(chuàng)始人Noam Shazeer領(lǐng)導(dǎo)，他們正在探索新的技術(shù)路徑，以彌補(bǔ)傳統(tǒng)scaling law在模型訓(xùn)練階段導(dǎo)致的性能提升放緩問(wèn)題。與此同時(shí)，開(kāi)發(fā)Gemini的研究人員也在對(duì)模型進(jìn)行手動(dòng)改進(jìn)，包括更改超參數(shù)，即決定模型如何處理信息的變量。
然而，谷歌在嘗試使用AI生成的數(shù)據(jù)（合成數(shù)據(jù)）以及音視頻作為Gemini的訓(xùn)練數(shù)據(jù)時(shí)，并未取得顯著效果。這一結(jié)果再次凸顯了當(dāng)前AI技術(shù)發(fā)展的瓶頸和挑戰(zhàn)。
隨著OpenAI和谷歌這兩大AI巨頭相繼遇到模型性能提升緩慢的問(wèn)題，業(yè)內(nèi)對(duì)AI技術(shù)未來(lái)發(fā)展的悲觀情緒開(kāi)始蔓延。一些人擔(dān)心，如果技術(shù)瓶頸長(zhǎng)期無(wú)法突破，可能會(huì)引發(fā)所謂的“AI泡沫”，即市場(chǎng)對(duì)AI技術(shù)的過(guò)度樂(lè)觀預(yù)期與實(shí)際技術(shù)進(jìn)展之間的巨大差距。
