近日，一個名為EXO Labs的團隊在社交媒體上發(fā)布了一段引人注目的視頻，展示了一臺運行Windows 98系統(tǒng)的老式奔騰II電腦（配備128MB內(nèi)存）成功執(zhí)行大型語言模型（LLM）的壯舉。這一成就不僅令人驚嘆，也標志著人工智能技術在極端條件下的出色表現(xiàn)。
EXO Labs由牛津大學的研究人員和工程師組成，今年9月正式亮相。他們致力于打破大型企業(yè)對人工智能技術的壟斷，認為這種壟斷可能對文化、真相以及社會的其他方面產(chǎn)生負面影響。因此，他們希望構建開放的基礎設施，使前沿的人工智能模型能夠被任何人、在任何地方運行。此次在Windows 98上運行LLM的成功案例，正是他們這一理念的生動體現(xiàn)。
EXO Labs的目標不僅限于此。他們正在探索一種名為BitNet的新型人工智能架構，該架構使用三元權重，使得一個70億參數(shù)的模型僅需1.38GB的存儲空間。盡管這對于一臺26年前的奔騰II來說可能仍然有些吃力，但對于現(xiàn)代硬件甚至十年前的設備來說，這一要求已經(jīng)變得非常輕量級。BitNet是“CPU優(yōu)先”的，避免了對昂貴GPU的依賴。據(jù)稱，這種類型的模型比全精度模型效率高50%，并且可以在單個CPU上以人類閱讀速度（約每秒5到7個token）運行一個1000億參數(shù)的模型。
