【ITBEAR】麻省理工學院（MIT）信息與決策系統(tǒng)實驗室（LIDS）近日公布了一項關于生成式AI模型導航能力的研究結果，引發(fā)了業(yè)內關注。該研究指出，盡管這類模型在提供紐約市導航指引時表現(xiàn)近乎完美，但實際上并未形成準確的地圖認知。
在研究過程中，研究人員嘗試對部分街道進行封閉，并設置相應的繞行路線。結果顯示，這一微小變動導致生成式AI模型的性能大幅下滑。具體來說，當僅有1%的街道被封閉時，模型的準確率便從接近百分之百驟降至67%，這暴露出模型在應對環(huán)境變化時的顯著不足。
深入研究還發(fā)現(xiàn)，這些模型所生成的紐約地圖中包含大量虛構的街道。這些街道在地圖網(wǎng)格中以扭曲的方式連接，形成了一個與現(xiàn)實相去甚遠的“虛構紐約”。地圖上隨處可見的隨機跨街橋和角度奇異的交叉街道，進一步揭示了模型存在的缺陷。
該研究強調，對于生成式AI模型而言，評估其是否具備連貫的世界觀至關重要。雖然這類模型在自然語言處理領域取得了顯著成就，但在拓展至其他科學領域時，其連貫性和適應性仍需經(jīng)過嚴格驗證。
此次研究主要聚焦于名為“transformer”的生成式AI模型。該模型作為眾多大型語言模型（如GPT-4）的核心組成部分，在基于語言的數(shù)據(jù)訓練方面表現(xiàn)出色。然而，MIT的這項研究卻揭示了其在導航任務中的局限性。
