ChatGPT 憑一己之力讓全球?yàn)?AI 沸騰，引發(fā)了科技巨頭之間的聊天機(jī)器人軍備競(jìng)賽。
眾所周知，ChatGPT 的背后技術(shù)是 GPT(Generative Pre-trained Transformer)模型。GPT 是一種基于 Transformer 模型的自然語(yǔ)言處理模型，由 OpenAI 公司開(kāi)發(fā)。它可以通過(guò)學(xué)習(xí)大量的自然語(yǔ)言數(shù)據(jù)來(lái)生成自然流暢的文本，例如文章、對(duì)話等。
2019 年 11 月，OpenAI 開(kāi)源了 GPT-2 語(yǔ)言模型的完整版本(有 15 億個(gè)參數(shù))。GPT-2 是作為 OpenAI 2018 年 GPT 模型的 "直接擴(kuò)展" 而創(chuàng)建的，其參數(shù)和訓(xùn)練數(shù)據(jù)集的大小都增加了 10 倍。
在 GPT-2 之后，OpenAI 又推出了 1750 億個(gè)參數(shù)的 GPT-3，只是其源代碼從未被公開(kāi)。OpenAI 認(rèn)為 GPT-3 可能被濫用，因此不應(yīng)開(kāi)源。包括后來(lái)的 GPT-3.5、GPT-4 都沒(méi)有開(kāi)源。目前，公開(kāi)免費(fèi)版 ChatGPT 仍然基于 GPT-3.5，不過(guò)按月訂閱 “ChatGPT Plus” 的用戶能夠試用由 GPT-4 提供支持的更新版本的 ChatGPT。
盡管 ChatGPT 沒(méi)有開(kāi)源，但趁著這波熱度，還是有不少類(lèi)似的開(kāi)源項(xiàng)目出現(xiàn)，GitHub 已經(jīng)有人做個(gè)了 替代 ChatGPT 的開(kāi)源項(xiàng)目列表。
lucidrains/PaLM-rlhf-pytorch
這是一個(gè)類(lèi)似于 ChatGPT 的模型，但使用的是 PaLM 架構(gòu)。在 PaLM 架構(gòu)之上實(shí)現(xiàn)了 RLHF(人類(lèi)反饋強(qiáng)化學(xué)習(xí))。
注：只有源代碼，沒(méi)有數(shù)據(jù)，沒(méi)有模型權(quán)重，沒(méi)有聊天系統(tǒng)。
togethercomputer/OpenChatKit
OpenChatKit 提供了一個(gè)強(qiáng)大的開(kāi)源基礎(chǔ)，可以為各種應(yīng)用程序創(chuàng)建專用和通用聊天機(jī)器人。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
oobabooga/text-generation-webui
它是一個(gè)用于運(yùn)行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大型語(yǔ)言模型的 gradio web UI。其目標(biāo)是成為文本生成領(lǐng)域的 AUTOMATIC1111/stable-diffusion-webui。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
KoboldAI/KoboldAI-Client
這是一個(gè)基于瀏覽器的前端，用于使用多個(gè)本地和遠(yuǎn)程 AI 模型進(jìn)行 AI 輔助寫(xiě)作。它提供一系列標(biāo)準(zhǔn)工具，包括內(nèi)存、作者筆記、世界信息、保存和加載、可調(diào)整的 AI 設(shè)置、格式化選項(xiàng)，以及導(dǎo)入現(xiàn)有 AI Dungeon 冒險(xiǎn)的能力。您還可以打開(kāi)冒險(xiǎn)模式并像 AI Dungeon Unleashed 一樣玩游戲。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
LAION-AI/Open-Assistant
OpenAssistant 是一個(gè)基于聊天的助手，可以理解任務(wù)，可以與第三方系統(tǒng)交互，并為此動(dòng)態(tài)檢索信息。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
tatsu-lab/stanford_alpaca
這是 Stanford Alpaca 項(xiàng)目的 repo，該項(xiàng)目旨在構(gòu)建和共享指令遵循的 LLaMA 模型。
注：半開(kāi)源、非真正開(kāi)源、基于封閉模型等...
BlinkDL/ChatRWKV
ChatRWKV 類(lèi)似于 ChatGPT，但由 RWKV(100% RNN)語(yǔ)言模型提供支持，并且是開(kāi)源的。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
THUDM/ChatGLM-6B
ChatGLM-6B 是一個(gè)基于通用語(yǔ)言模型(GLM)框架的開(kāi)放式雙語(yǔ)語(yǔ)言模型，擁有 62 億個(gè)參數(shù)。借助量化技術(shù)，用戶可以在消費(fèi)級(jí)顯卡上進(jìn)行本地部署(INT4 量化級(jí)別僅需 6GB GPU 顯存)。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
bigscience-workshop/xmtf
此存儲(chǔ)庫(kù)概述了用于創(chuàng)建 BLOOMZ & mT0 和 xP3 的所有組件，這些組件在通過(guò)多任務(wù)微調(diào)進(jìn)行跨語(yǔ)言泛化一文中介紹。
注：有數(shù)據(jù)，有模型權(quán)重，通過(guò) API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
carperai/trlx
這是一個(gè)用于通過(guò)人類(lèi)反饋(RLHF)進(jìn)行語(yǔ)言模型分布式訓(xùn)練的代碼庫(kù)，用于微調(diào) GPT 模型以生成聊天文本的工具，支持在線 RL 訓(xùn)練多達(dá) 20 億個(gè)參數(shù)的模型，以及離線 RL 訓(xùn)練更大的模型。
注：只有源代碼，沒(méi)有數(shù)據(jù)，沒(méi)有模型權(quán)重，沒(méi)有聊天系統(tǒng)。
databrickslabs/dolly
該模型基于 pythia-12b 進(jìn)行訓(xùn)練，使用了約 15,000 條指令 / 響應(yīng)微調(diào)記錄，這些記錄是由 Databricks 員工在 InstructGPT 論文的能力領(lǐng)域中生成的 databricks-dolly-15k。
注：有數(shù)據(jù)，有模型權(quán)重，通過(guò) API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
LianjiaTech/BELLE
本項(xiàng)目的目標(biāo)是推動(dòng)中文大型會(huì)話模型開(kāi)源社區(qū)的發(fā)展。該項(xiàng)目在原有的 Stanford Alpaca 基礎(chǔ)上優(yōu)化了中文性能。模型微調(diào)僅使用通過(guò) ChatGPT 生成的數(shù)據(jù)(沒(méi)有其他數(shù)據(jù))。此 repo 包含 175 個(gè)用于生成數(shù)據(jù)的中文種子任務(wù)、用于生成數(shù)據(jù)的代碼、用于微調(diào)模型的 0.5M 生成數(shù)據(jù)等等。
注：有數(shù)據(jù)，有模型權(quán)重，通過(guò) API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
ethanyanjiali/minChatGPT
這個(gè)示例演示了如何使用 RLHF 技術(shù)對(duì)齊語(yǔ)言模型，使其能夠生成類(lèi)似于 ChatGPT 的聊天文本。
注：有數(shù)據(jù)，有模型權(quán)重，通過(guò) API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
cerebras/Cerebras-GPT
7 個(gè)開(kāi)源 GPT-3 樣式模型，參數(shù)范圍從 1.11 億到 130 億，使用 Chinchilla 公式 訓(xùn)練。模型權(quán)重已在寬松許可下發(fā)布(特別是 Apache 2.0 許可)。
注：有數(shù)據(jù)，有模型權(quán)重，通過(guò) API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
TavernAI/TavernAI
一款主題風(fēng)格是冒險(xiǎn)和探險(xiǎn)的聊天機(jī)器人，默認(rèn) AI 語(yǔ)言模型是 Pygmalion，還包括其他語(yǔ)言模型，比如 KoboldAI、ChatGPT、GPT-4 等。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
Cohee1207/SillyTavern
SillyTavern 是 TavernAI 1.2.8 的一個(gè)分支，目前正在積極開(kāi)發(fā)中，并添加了許多主要功能?，F(xiàn)在，它們可以被視為完全獨(dú)立的程序。Tavern 是一個(gè)用戶界面，它需要與一個(gè) AI 系統(tǒng)后端配合使用，才能發(fā)揮作用。有多種支持的后端可供選擇，包括 OpenAPI API(GPT)、KoboldAI(可以在本地運(yùn)行或在 Google Colab 上運(yùn)行)等。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
ChatGPT 這陣風(fēng)刮得這么猛，GOTC 2023 怎會(huì)錯(cuò)過(guò)?
5 月 27 日至 28 日，GOTC 2023 將在上海召開(kāi)， AIGC (AI Generated Content，AI 生成內(nèi)容) 將成為本次大會(huì)的重頭戲。尤其是在 “AI is Everywhere” 分論壇上，諸多 AI 專家將深入探討 AIGC 背后的技術(shù)。
全球開(kāi)源技術(shù)峰會(huì)(Global Open-source Technology Conference)，簡(jiǎn)稱 GOTC，是由開(kāi)放原子開(kāi)源基金會(huì)、 Linux 基金會(huì)亞太區(qū)、上海浦東軟件園和開(kāi)源中國(guó)聯(lián)合發(fā)起的，面向全球開(kāi)發(fā)者的一場(chǎng)盛大開(kāi)源技術(shù)盛宴。 5 月 27 日至 28 日，GOTC 2023 將于上海舉辦為期 2 天的開(kāi)源行業(yè)盛會(huì)。大會(huì)將以行業(yè)展覽、主題發(fā)言、特別論壇、分論壇的形式展現(xiàn)，與會(huì)者將一起探討元宇宙、3D 與游戲、eBPF、Web3.0、區(qū)塊鏈等熱門(mén)技術(shù)主題，以及開(kāi)源社區(qū)、AIGC、汽車(chē)軟件、開(kāi)源商業(yè)化、開(kāi)源教育培訓(xùn)、云原生等熱門(mén)話題，探討開(kāi)源未來(lái)，助力開(kāi)源發(fā)展。
GOTC 2023 報(bào)名通道現(xiàn)已開(kāi)啟，誠(chéng)邀全球各技術(shù)領(lǐng)域開(kāi)源愛(ài)好者共襄盛舉!
