11 月 6 日，李開(kāi)復(fù)博士帶隊(duì)創(chuàng)辦的AI2.0公司零一萬(wàn)物正式開(kāi)源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B，模型開(kāi)放商用申請(qǐng)，已在阿里云魔搭社區(qū)ModelScope首發(fā)。魔搭第一時(shí)間推出了模型部署相關(guān)教程，供開(kāi)發(fā)者參考并快速上手。
零一萬(wàn)物此次開(kāi)源的Yi系列模型包含34B和6B兩個(gè)版本。據(jù) Hugging Face英文開(kāi)源社區(qū)平臺(tái)和C-eval中文評(píng)測(cè)的最新榜單，Yi-34B 預(yù)訓(xùn)練模型取得了多項(xiàng) SOTA 國(guó)際最佳性能指標(biāo)認(rèn)可，成為全球開(kāi)源大模型“雙料冠軍”。
零一萬(wàn)物創(chuàng)始人及 CEO 李開(kāi)復(fù)博士表示:“零一萬(wàn)物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo)，從招的第一個(gè)人，寫(xiě)的第一行代碼，設(shè)計(jì)的第一個(gè)模型開(kāi)始，就一直抱著成為‘World's No.1’的初衷和決心?！?/p>
魔搭社區(qū)開(kāi)源地址：
https://www.modelscope.cn/models/01ai/Yi-34B/summary
https://www.modelscope.cn/models/01ai/Yi-6B/summary
魔搭社區(qū)最佳實(shí)踐：
https://mp.weixin.qq.com/s/hy-ovRIkXGfv39RiNEHddw
Yi-34B 登頂全球英文及中文權(quán)威榜單 No.1
在 Hugging Face英文測(cè)試公開(kāi)榜單Pretrained預(yù)訓(xùn)練開(kāi)源模型排名中，Yi-34B以70.72 分位列全球第一，碾壓 LLaMA2-70B 和 Falcon-180B 等眾多大尺寸模型。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜，Yi-34B高居榜首(2023 年 11 月 5 日)
在 C-eval中文權(quán)威榜單排行榜上, Yi-34B超越了全球所有開(kāi)源模型。對(duì)比GPT-4，在 CMMLU、E-eval、Gaokao 三個(gè)主要的中文指標(biāo)上，Yi-34B 也具有絕對(duì)優(yōu)勢(shì)。
C-eval 排行榜:公開(kāi)訪問(wèn)的模型，Yi-34B 全球第一(2023 年 11 月 5 日)
在全球大模型各項(xiàng)評(píng)測(cè)中最關(guān)鍵的 MMLU(Massive Multitask Language Understanding 大規(guī)模多任務(wù)語(yǔ)言理解)、BBH 等反映模型綜合能力的評(píng)測(cè)集上，Yi-34B 同樣表現(xiàn)突出，在通用能力、知識(shí)推理、閱讀理解等多項(xiàng)指標(biāo)評(píng)比中全部勝出。
各評(píng)測(cè)集得分:Yi 模型 v.s. 其他開(kāi)源模型
和 LLaMA2 一樣，Yi 系列模型在 GSM8k、MBPP 的數(shù)學(xué)和代碼評(píng)測(cè)表現(xiàn)略遜 GPT 模型。未來(lái)，零一萬(wàn)物的系列開(kāi)源計(jì)劃中將推出代碼能力和數(shù)學(xué)能力專(zhuān)項(xiàng)的繼續(xù)訓(xùn)練模型。
全球最長(zhǎng)200K 上下文窗口
Yi-34B模型將發(fā)布全球最長(zhǎng)、可支持200K超上下文窗口(context window)版本，可以處理約40萬(wàn)漢字超文本輸入。上下文窗口是大模型綜合運(yùn)算能力的金指標(biāo)之一，對(duì)于理解和生成與特定上下文相關(guān)的文本至關(guān)重要。
受限于計(jì)算復(fù)雜度、數(shù)據(jù)完備度等問(wèn)題，上下文窗口規(guī)模擴(kuò)充從計(jì)算、內(nèi)存和通信的角度存在各種挑戰(zhàn)。為此，零一萬(wàn)物技術(shù)團(tuán)隊(duì)實(shí)施了一系列優(yōu)化，包括計(jì)算通信重疊、序列并行、通信壓縮等，實(shí)現(xiàn)了在大規(guī)模模型訓(xùn)練中近100倍的能力提升，也為Yi系列模型上下文規(guī)模下一次躍升儲(chǔ)備了充足“電力”。
AI Infra實(shí)測(cè)實(shí)現(xiàn) 40%訓(xùn)練成本下降
李開(kāi)復(fù)曾經(jīng)表示，“做過(guò)大模型 Infra 的人比做算法的人才更稀缺”。超強(qiáng)的 Infra 能力是大模型研發(fā)的核心護(hù)城河之一。
AI Infra(AI Infrastructure 人工智能基礎(chǔ)架構(gòu)技術(shù))涵蓋大模型訓(xùn)練和部署提供各種底層技術(shù)設(shè)施，包括處理器、操作系統(tǒng)、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計(jì)算平臺(tái)等等。
零一萬(wàn)物 Yi系列大模型基于阿里云平臺(tái)打造，阿里云強(qiáng)大的智能算力基礎(chǔ)設(shè)施為模型訓(xùn)練提供了穩(wěn)固的基石。零一萬(wàn)物的Infra 技術(shù)通過(guò)“高精度”系統(tǒng)、彈性訓(xùn)和接力訓(xùn)等全棧式解決方案，確保訓(xùn)練高效、安全地進(jìn)行。
憑借強(qiáng)大的 AI Infra，Yi-34B模型訓(xùn)練成本實(shí)測(cè)下降40%，實(shí)際訓(xùn)練完成達(dá)標(biāo)時(shí)間與預(yù)測(cè)的時(shí)間誤差不到一小時(shí)，進(jìn)一步模擬上到千億規(guī)模訓(xùn)練成本可下降多達(dá) 50%。目前，零一萬(wàn)物 Infra 能力實(shí)現(xiàn)故障預(yù)測(cè)準(zhǔn)確率超過(guò) 90%，故障提前發(fā)現(xiàn)率達(dá)到 99.9%，不需要人工參與的故障自愈率超95%。
零一萬(wàn)物組建了由前 Google 大數(shù)據(jù)和知識(shí)圖譜專(zhuān)家領(lǐng)銜的數(shù)據(jù)團(tuán)隊(duì)，建設(shè)了高效、自動(dòng)、可評(píng)價(jià)、可擴(kuò)展的智能數(shù)據(jù)處理管線;還自研出一套“規(guī)?；?xùn)練實(shí)驗(yàn)平臺(tái)”，用來(lái)指導(dǎo)模型的設(shè)計(jì)和優(yōu)化。數(shù)據(jù)處理管線和加大規(guī)模預(yù)測(cè)的訓(xùn)練能力建設(shè)，把以往的大模型訓(xùn)練碰運(yùn)氣的“煉丹”過(guò)程變得極度細(xì)致和科學(xué)化。
李開(kāi)復(fù)宣布，零一萬(wàn)物已啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。
接下來(lái)，零一萬(wàn)物將基于 Yi系列大模型，打造更多To C超級(jí)應(yīng)用。李開(kāi)復(fù)強(qiáng)調(diào)，“AI 2.0 是有史以來(lái)最大的科技革命，它帶來(lái)的改變世界的最大機(jī)會(huì)一定是平臺(tái)和技術(shù)，正如 PC 時(shí)代的微軟 Office，移動(dòng)互聯(lián)網(wǎng)時(shí)代的微信、抖音、美團(tuán)一樣，商業(yè)化爆發(fā)式增長(zhǎng)概率最高的一定是 ToC 應(yīng)用。零一萬(wàn)物邀請(qǐng)開(kāi)發(fā)者社群跟我們一起搭建 Yi 開(kāi)源模型的應(yīng)用生態(tài)系，協(xié)力打造 AI 2.0 時(shí)代的超級(jí)應(yīng)用。”
