ChatGPT 憑一己之力讓全球為 AI 沸騰，引發(fā)了科技巨頭之間的聊天機器人軍備競賽。
眾所周知，ChatGPT 的背后技術是 GPT(Generative Pre-trained Transformer)模型。GPT 是一種基于 Transformer 模型的自然語言處理模型，由 OpenAI 公司開發(fā)。它可以通過學習大量的自然語言數(shù)據(jù)來生成自然流暢的文本，例如文章、對話等。
2019 年 11 月，OpenAI 開源了 GPT-2 語言模型的完整版本(有 15 億個參數(shù))。GPT-2 是作為 OpenAI 2018 年 GPT 模型的 "直接擴展" 而創(chuàng)建的，其參數(shù)和訓練數(shù)據(jù)集的大小都增加了 10 倍。
在 GPT-2 之后，OpenAI 又推出了 1750 億個參數(shù)的 GPT-3，只是其源代碼從未被公開。OpenAI 認為 GPT-3 可能被濫用，因此不應開源。包括后來的 GPT-3.5、GPT-4 都沒有開源。目前，公開免費版 ChatGPT 仍然基于 GPT-3.5，不過按月訂閱 “ChatGPT Plus” 的用戶能夠試用由 GPT-4 提供支持的更新版本的 ChatGPT。
盡管 ChatGPT 沒有開源，但趁著這波熱度，還是有不少類似的開源項目出現(xiàn)，GitHub 已經(jīng)有人做個了 替代 ChatGPT 的開源項目列表。
lucidrains/PaLM-rlhf-pytorch
這是一個類似于 ChatGPT 的模型，但使用的是 PaLM 架構。在 PaLM 架構之上實現(xiàn)了 RLHF(人類反饋強化學習)。
注：只有源代碼，沒有數(shù)據(jù)，沒有模型權重，沒有聊天系統(tǒng)。
togethercomputer/OpenChatKit
OpenChatKit 提供了一個強大的開源基礎，可以為各種應用程序創(chuàng)建專用和通用聊天機器人。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
oobabooga/text-generation-webui
它是一個用于運行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大型語言模型的 gradio web UI。其目標是成為文本生成領域的 AUTOMATIC1111/stable-diffusion-webui。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
KoboldAI/KoboldAI-Client
這是一個基于瀏覽器的前端，用于使用多個本地和遠程 AI 模型進行 AI 輔助寫作。它提供一系列標準工具，包括內(nèi)存、作者筆記、世界信息、保存和加載、可調整的 AI 設置、格式化選項，以及導入現(xiàn)有 AI Dungeon 冒險的能力。您還可以打開冒險模式并像 AI Dungeon Unleashed 一樣玩游戲。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
LAION-AI/Open-Assistant
OpenAssistant 是一個基于聊天的助手，可以理解任務，可以與第三方系統(tǒng)交互，并為此動態(tài)檢索信息。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
tatsu-lab/stanford_alpaca
這是 Stanford Alpaca 項目的 repo，該項目旨在構建和共享指令遵循的 LLaMA 模型。
注：半開源、非真正開源、基于封閉模型等...
BlinkDL/ChatRWKV
ChatRWKV 類似于 ChatGPT，但由 RWKV(100% RNN)語言模型提供支持，并且是開源的。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
THUDM/ChatGLM-6B
ChatGLM-6B 是一個基于通用語言模型(GLM)框架的開放式雙語語言模型，擁有 62 億個參數(shù)。借助量化技術，用戶可以在消費級顯卡上進行本地部署(INT4 量化級別僅需 6GB GPU 顯存)。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
bigscience-workshop/xmtf
此存儲庫概述了用于創(chuàng)建 BLOOMZ & mT0 和 xP3 的所有組件，這些組件在通過多任務微調進行跨語言泛化一文中介紹。
注：有數(shù)據(jù)，有模型權重，通過 API 可以實現(xiàn)基礎的聊天功能。
carperai/trlx
這是一個用于通過人類反饋(RLHF)進行語言模型分布式訓練的代碼庫，用于微調 GPT 模型以生成聊天文本的工具，支持在線 RL 訓練多達 20 億個參數(shù)的模型，以及離線 RL 訓練更大的模型。
注：只有源代碼，沒有數(shù)據(jù)，沒有模型權重，沒有聊天系統(tǒng)。
databrickslabs/dolly
該模型基于 pythia-12b 進行訓練，使用了約 15,000 條指令 / 響應微調記錄，這些記錄是由 Databricks 員工在 InstructGPT 論文的能力領域中生成的 databricks-dolly-15k。
注：有數(shù)據(jù)，有模型權重，通過 API 可以實現(xiàn)基礎的聊天功能。
LianjiaTech/BELLE
本項目的目標是推動中文大型會話模型開源社區(qū)的發(fā)展。該項目在原有的 Stanford Alpaca 基礎上優(yōu)化了中文性能。模型微調僅使用通過 ChatGPT 生成的數(shù)據(jù)(沒有其他數(shù)據(jù))。此 repo 包含 175 個用于生成數(shù)據(jù)的中文種子任務、用于生成數(shù)據(jù)的代碼、用于微調模型的 0.5M 生成數(shù)據(jù)等等。
注：有數(shù)據(jù)，有模型權重，通過 API 可以實現(xiàn)基礎的聊天功能。
ethanyanjiali/minChatGPT
這個示例演示了如何使用 RLHF 技術對齊語言模型，使其能夠生成類似于 ChatGPT 的聊天文本。
注：有數(shù)據(jù)，有模型權重，通過 API 可以實現(xiàn)基礎的聊天功能。
cerebras/Cerebras-GPT
7 個開源 GPT-3 樣式模型，參數(shù)范圍從 1.11 億到 130 億，使用 Chinchilla 公式 訓練。模型權重已在寬松許可下發(fā)布(特別是 Apache 2.0 許可)。
注：有數(shù)據(jù)，有模型權重，通過 API 可以實現(xiàn)基礎的聊天功能。
TavernAI/TavernAI
一款主題風格是冒險和探險的聊天機器人，默認 AI 語言模型是 Pygmalion，還包括其他語言模型，比如 KoboldAI、ChatGPT、GPT-4 等。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
Cohee1207/SillyTavern
SillyTavern 是 TavernAI 1.2.8 的一個分支，目前正在積極開發(fā)中，并添加了許多主要功能。現(xiàn)在，它們可以被視為完全獨立的程序。Tavern 是一個用戶界面，它需要與一個 AI 系統(tǒng)后端配合使用，才能發(fā)揮作用。有多種支持的后端可供選擇，包括 OpenAPI API(GPT)、KoboldAI(可以在本地運行或在 Google Colab 上運行)等。
注：有完整數(shù)據(jù)，有模型權重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
ChatGPT 這陣風刮得這么猛，GOTC 2023 怎會錯過?
5 月 27 日至 28 日，GOTC 2023 將在上海召開， AIGC (AI Generated Content，AI 生成內(nèi)容) 將成為本次大會的重頭戲。尤其是在 “AI is Everywhere” 分論壇上，諸多 AI 專家將深入探討 AIGC 背后的技術。
全球開源技術峰會(Global Open-source Technology Conference)，簡稱 GOTC，是由開放原子開源基金會、 Linux 基金會亞太區(qū)、上海浦東軟件園和開源中國聯(lián)合發(fā)起的，面向全球開發(fā)者的一場盛大開源技術盛宴。 5 月 27 日至 28 日，GOTC 2023 將于上海舉辦為期 2 天的開源行業(yè)盛會。大會將以行業(yè)展覽、主題發(fā)言、特別論壇、分論壇的形式展現(xiàn)，與會者將一起探討元宇宙、3D 與游戲、eBPF、Web3.0、區(qū)塊鏈等熱門技術主題，以及開源社區(qū)、AIGC、汽車軟件、開源商業(yè)化、開源教育培訓、云原生等熱門話題，探討開源未來，助力開源發(fā)展。
GOTC 2023 報名通道現(xiàn)已開啟，誠邀全球各技術領域開源愛好者共襄盛舉!
