在人工智能領(lǐng)域，DeepSeek v3的發(fā)布如同一股清流，其憑借后發(fā)優(yōu)勢，巧妙地規(guī)避了前輩們曾踏入的陷阱，實(shí)現(xiàn)了高效避坑。這一成果得益于它站在了巨人的肩膀上，通過更優(yōu)化的方式利用現(xiàn)有算力，力求實(shí)現(xiàn)收益的最大化。
有觀點(diǎn)認(rèn)為，DeepSeek v3在訓(xùn)練成本上的控制堪稱典范。據(jù)悉，o1的訓(xùn)練成本遠(yuǎn)高于GPT-4，而推測中o3的訓(xùn)練成本更可能遠(yuǎn)超o1。然而，DeepSeek v3在GPT-4o發(fā)布僅7個(gè)月后，便以十分之一的算力實(shí)現(xiàn)了近乎同等的性能，這無疑是訓(xùn)練成本下降趨勢的一個(gè)有力證明。但與此同時(shí)，也存在對“訓(xùn)練”概念理解的偏差。
幻方公司在其論文中明確指出，DeepSeek-V3的成本僅涵蓋了正式訓(xùn)練階段，而不包括前期研究、算法優(yōu)化、數(shù)據(jù)準(zhǔn)備等環(huán)節(jié)的投入。這意味著，在追求訓(xùn)練成本降低的同時(shí)，我們不能忽視其他關(guān)鍵環(huán)節(jié)的投入。一位算法工程師形象地比喻道：“這就像學(xué)生在準(zhǔn)備高考時(shí)，雖然最終考試可能只用了幾小時(shí)，但在此之前的學(xué)習(xí)、復(fù)習(xí)、模擬考試等投入都是不可或缺的?！?/p>
隨著數(shù)據(jù)量的爆炸式增長，合成數(shù)據(jù)逐漸成為突破數(shù)據(jù)瓶頸的重要途徑。未來的預(yù)訓(xùn)練范式將更加注重?cái)?shù)據(jù)質(zhì)量，而非單純追求參數(shù)或數(shù)據(jù)總量的增加。算力，作為推動(dòng)模型訓(xùn)練的關(guān)鍵因素，其需求并未因算法優(yōu)化而減少，反而呈現(xiàn)出持續(xù)增長的趨勢。OpenAI、Anthropic等頂尖實(shí)驗(yàn)室仍面臨算力短缺的困境，幻方也不例外。
從全局視角來看，訓(xùn)練算力的總需求并未下降，反而隨著模型復(fù)雜度的提升而不斷增加。預(yù)訓(xùn)練的經(jīng)濟(jì)效益雖然有所下降，但實(shí)驗(yàn)室并未因此減少投入，而是將算力資源轉(zhuǎn)移到其他訓(xùn)練環(huán)節(jié)，如強(qiáng)化學(xué)習(xí)后訓(xùn)練等。這種轉(zhuǎn)變并未減少算力的總體需求，而是推動(dòng)了算力在不同訓(xùn)練環(huán)節(jié)之間的優(yōu)化配置。
DeepSeek v3的成功，不僅在于其訓(xùn)練成本的控制，更在于其對模型能力的提升。幻方在LLM路線上，將MoE技術(shù)發(fā)揮到了極致，同時(shí)也在積極探索r2/r3等更先進(jìn)的模型。這些模型的訓(xùn)練將消耗更多的算力，但也將為DeepSeek v4等后續(xù)模型的合成數(shù)據(jù)提供有力支持。預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)、測試時(shí)間計(jì)算等環(huán)節(jié)的優(yōu)化，形成了正反饋循環(huán)，推動(dòng)了模型能力的持續(xù)提升。
在推理方面，DeepSeek-V3及其輕量版V3-Lite的推出，為私有部署和自主微調(diào)提供了可能，為下游應(yīng)用提供了廣闊的發(fā)展空間。隨著LLM應(yīng)用生態(tài)的日益繁榮，未來一兩年內(nèi)，我們有望見證更豐富的推理芯片產(chǎn)品和更廣泛的應(yīng)用場景。
DeepSeek v3的發(fā)布不僅展示了其在訓(xùn)練成本控制方面的卓越能力，更揭示了人工智能領(lǐng)域算力需求持續(xù)增長的趨勢。在追求高效算法和工程手段的同時(shí)，我們不能忽視其他關(guān)鍵環(huán)節(jié)的投入，以確保模型能力的持續(xù)提升。未來，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的日益豐富，人工智能領(lǐng)域?qū)⒂瓉砀訌V闊的發(fā)展前景。
