近日，由清華技術(shù)成果轉(zhuǎn)化的公司智譜AI開(kāi)源了GLM系列模型的新成員——中英雙語(yǔ)對(duì)話模型ChatGLM-6B，支持在單張消費(fèi)級(jí)顯卡上進(jìn)行推理使用。這是繼此前開(kāi)源GLM-130B千億基座模型之后，智譜AI再次推出大模型方向的研究成果。與此同時(shí)，基于千億基座模型的ChatGLM也同期推出，初具問(wèn)答和對(duì)話功能，現(xiàn)已開(kāi)啟邀請(qǐng)制內(nèi)測(cè)(內(nèi)測(cè)申請(qǐng)網(wǎng)址chatglm.cn)，后續(xù)還會(huì)逐步擴(kuò)大內(nèi)測(cè)范圍。
據(jù)悉，ChatGLM-6B 是一個(gè)開(kāi)源的、支持中英雙語(yǔ)問(wèn)答的對(duì)話語(yǔ)言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署(INT4 量化級(jí)別下最低只需 6GB 顯存)。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。模型開(kāi)源的地址為https://github.com/THUDM/ChatGLM-6B 。
具體來(lái)說(shuō)，ChatGLM-6B具備以下特點(diǎn)：
· 充分的中英雙語(yǔ)預(yù)訓(xùn)練：ChatGLM-6B在1:1比例的中英語(yǔ)料上訓(xùn)練了1T的token量，兼具雙語(yǔ)能力。
· 優(yōu)化的模型架構(gòu)和大?。?/span>吸取GLM-130B訓(xùn)練經(jīng)驗(yàn)，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B(62億)的參數(shù)大小，也使得研究者和個(gè)人開(kāi)發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。
· 較低的部署門(mén)檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到 10GB(INT8) 和 6GB(INT4)，使得 ChatGLM-6B 可以部署在消費(fèi)級(jí)顯卡上。
· 更長(zhǎng)的序列長(zhǎng)度：相比 GLM-10B(序列長(zhǎng)度1024)，ChatGLM-6B序列長(zhǎng)度達(dá)2048，支持更長(zhǎng)對(duì)話和應(yīng)用。
· 人類意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)(Supervised Fine-Tuning)、反饋?zhàn)灾?Feedback Bootstrap)、人類反饋強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback)等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。
基于以上特點(diǎn)，ChatGLM-6B在一定條件下具備較好的對(duì)話與問(wèn)答能力，以下是ChatGLM-6B的對(duì)話效果展示：
不過(guò)由于ChatGLM-6B模型的容量較小，不可避免的存在一些局限和不足，包括：
· 相對(duì)較弱的模型記憶和語(yǔ)言能力。在面對(duì)許多事實(shí)性知識(shí)任務(wù)時(shí)，ChatGLM-6B可能會(huì)生成不正確的信息，也不太擅長(zhǎng)邏輯類問(wèn)題(如數(shù)學(xué)、編程)的解答。
· 可能會(huì)產(chǎn)生有害說(shuō)明或有偏見(jiàn)的內(nèi)容：ChatGLM-6B只是一個(gè)初步與人類意圖對(duì)齊的語(yǔ)言模型，可能會(huì)生成有害、有偏見(jiàn)的內(nèi)容。
· 較弱的多輪對(duì)話能力：ChatGLM-6B的上下文理解能力還不夠充分，在面對(duì)長(zhǎng)答案生成和多輪對(duì)話的場(chǎng)景時(shí)，可能會(huì)出現(xiàn)上下文丟失和理解錯(cuò)誤的情況。
同時(shí)，智譜AI還開(kāi)啟了ChatGLM線上模型的內(nèi)測(cè)。相比起ChatGLM-6B，ChatGLM線上模型的能力提升主要來(lái)源于獨(dú)特的千億基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架構(gòu)，是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。2022年11月，斯坦福大學(xué)大模型中心對(duì)全球30個(gè)主流大模型進(jìn)行了全方位的評(píng)測(cè)，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、Google Brain、微軟、英偉達(dá)、meta AI的各大模型對(duì)比中，評(píng)測(cè)報(bào)告顯示GLM-130B在準(zhǔn)確性和公平性指標(biāo)上與GPT-3 175B (davinci) 接近或持平，魯棒性、校準(zhǔn)誤差和無(wú)偏性優(yōu)于GPT-3 175B(下圖)。
基于千億基座的ChatGLM線上模型目前在chatglm.cn進(jìn)行邀請(qǐng)制內(nèi)測(cè)，用戶需要使用邀請(qǐng)碼進(jìn)行注冊(cè)，也可以填寫(xiě)基本信息申請(qǐng)內(nèi)測(cè)。
由ChatGLM生成的對(duì)話效果展示：
整體而言，ChatGLM距離國(guó)際頂尖大模型研究和產(chǎn)品還有一定差距，GLM團(tuán)隊(duì)也在博客中坦言了這一點(diǎn)，并表示將持續(xù)研發(fā)并開(kāi)源更新版本的ChatGLM和相關(guān)模型。歡迎大家下載ChatGLM-6B，基于它進(jìn)行研究和(非商用)應(yīng)用開(kāi)發(fā)。GLM團(tuán)隊(duì)希望能和開(kāi)源社區(qū)研究者和開(kāi)發(fā)者一起，推動(dòng)大模型研究和應(yīng)用在中國(guó)的發(fā)展。博客鏈接請(qǐng)見(jiàn)：https://chatglm.cn/blog
關(guān)于智譜AI
智譜AI由清華大學(xué)計(jì)算機(jī)系的技術(shù)成果轉(zhuǎn)化而來(lái)，致力于打造新一代認(rèn)知智能通用模型，提出了Model as a Service(MaaS)的市場(chǎng)理念。公司于2021年合作研發(fā)了雙語(yǔ)千億級(jí)超大規(guī)模預(yù)訓(xùn)練模型GLM-130B，并主導(dǎo)構(gòu)建了高精度通用知識(shí)圖譜，把兩者有機(jī)融合為數(shù)據(jù)與知識(shí)雙輪驅(qū)動(dòng)的認(rèn)知引擎，并基于此千億基座模型打造 ChatGLM (chatglm.cn)。此外，智譜AI也推出了認(rèn)知大模型平臺(tái)Bigmodel.ai，形成AIGC產(chǎn)品矩陣，包括高效率代碼模型CodeGeeX、高精度文圖生成模型CogView等，提供智能API服務(wù)。通過(guò)認(rèn)知大模型鏈接物理世界的億級(jí)用戶、賦能元宇宙數(shù)字人、成為具身機(jī)器人的基座，賦予機(jī)器像人一樣“思考”的能力。官網(wǎng)請(qǐng)見(jiàn)(zhipuai.cn)
