由清華技術(shù)成果轉(zhuǎn)化的公司智譜 AI 宣布開源了 GLM 系列模型的新成員 ——中英雙語對話模型 ChatGLM-6B,支持在單張消費(fèi)級顯卡上進(jìn)行推理使用。這是繼此前開源 GLM-130B 千億基座模型之后,智譜 AI 再次推出大模型方向的研究成果。
此外,基于千億基座的 ChatGLM 線上模型目前也在 chatglm.cn 進(jìn)行邀請制內(nèi)測,用戶需要使用邀請碼進(jìn)行注冊,也可以填寫基本信息申請內(nèi)測。
根據(jù)介紹,ChatGLM-6B 是一個開源的、支持中英雙語問答的對話語言模型,并針對中文進(jìn)行了優(yōu)化。該模型基于 General Language Model (GLM)架構(gòu),具有 62 億參數(shù)。結(jié)合模型量化技術(shù),用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署(INT4 量化級別下最低只需 6GB 顯存)。
ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù),針對中文問答和對話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識符的中英雙語訓(xùn)練,輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持,62 億參數(shù)的 ChatGLM-6B 雖然規(guī)模不及千億模型,但大大降低了推理成本,提升了效率,并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。
ChatGLM-6B 具備以下特點(diǎn):
充分的中英雙語預(yù)訓(xùn)練:ChatGLM-6B 在 1:1 比例的中英語料上訓(xùn)練了 1T 的 token 量,兼具雙語能力。
優(yōu)化的模型架構(gòu)和大小:吸取 GLM-130B 訓(xùn)練經(jīng)驗,修正了二維 RoPE 位置編碼實現(xiàn),使用傳統(tǒng) FFN 結(jié)構(gòu)。6B(62 億)的參數(shù)大小,也使得研究者和個人開發(fā)者自己微調(diào)和部署 ChatGLM-6B 成為可能。
較低的部署門檻:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理,結(jié)合模型量化技術(shù),這一需求可以進(jìn)一步降低到 10GB(INT8) 和 6GB(INT4),使得 ChatGLM-6B 可以部署在消費(fèi)級顯卡上。
更長的序列長度:相比 GLM-10B(序列長度 1024),ChatGLM-6B 序列長度達(dá) 2048,支持更長對話和應(yīng)用。
人類意圖對齊訓(xùn)練:使用了監(jiān)督微調(diào)(Supervised Fine-Tuning)、反饋?zhàn)灾‵eedback Bootstrap)、人類反饋強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback)等方式,使模型初具理解人類指令意圖的能力。輸出格式為 markdown,方便展示。
基于以上特點(diǎn),ChatGLM-6B 在一定條件下具備較好的對話與問答能力。ChatGLM-6B 的對話效果展示如下:
不過由于 ChatGLM-6B 模型的容量較小,不可避免地存在一些局限和不足,包括:
相對較弱的模型記憶和語言能力。在面對許多事實性知識任務(wù)時,ChatGLM-6B 可能會生成不正確的信息,也不太擅長邏輯類問題(如數(shù)學(xué)、編程)的解答。
可能會產(chǎn)生有害說明或有偏見的內(nèi)容:ChatGLM-6B 只是一個初步與人類意圖對齊的語言模型,可能會生成有害、有偏見的內(nèi)容。
較弱的多輪對話能力:ChatGLM-6B 的上下文理解能力還不夠充分,在面對長答案生成和多輪對話的場景時,可能會出現(xiàn)上下文丟失和理解錯誤的情況。
相比起 ChatGLM-6B,ChatGLM 參考了 ChatGPT 的設(shè)計思路,在千億基座模型 GLM-130B 中注入了代碼預(yù)訓(xùn)練,通過有監(jiān)督微調(diào)(Supervised Fine-Tuning)等技術(shù)實現(xiàn)人類意圖對齊。ChatGLM 線上模型的能力提升主要來源于獨(dú)特的千億基座模型 GLM-130B。它采用了不同于 BERT、GPT-3 以及 T5 的 GLM 架構(gòu),是一個包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。
GLM 團(tuán)隊表示,2022 年 11 月,斯坦福大學(xué)大模型中心對全球 30 個主流大模型進(jìn)行了全方位的評測,GLM-130B 是亞洲唯一入選的大模型。在與 OpenAI、Google Brain、微軟、英偉達(dá)、Meta AI 的各大模型對比中,評測報告顯示 GLM-130B 在準(zhǔn)確性和公平性指標(biāo)上與 GPT-3 175B (davinci) 接近或持平,魯棒性、校準(zhǔn)誤差和無偏性則優(yōu)于 GPT-3 175B。
由 ChatGLM 生成的對話效果展示:
不過 GLM 團(tuán)隊也坦言,整體來說 ChatGLM 距離國際頂尖大模型研究和產(chǎn)品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)還存在一定的差距。該團(tuán)隊表示,將持續(xù)研發(fā)并開源更新版本的 ChatGLM 和相關(guān)模型?!皻g迎大家下載 ChatGLM-6B,基于它進(jìn)行研究和(非商用)應(yīng)用開發(fā)。GLM 團(tuán)隊希望能和開源社區(qū)研究者和開發(fā)者一起,推動大模型研究和應(yīng)用在中國的發(fā)展?!?/p>
審核編輯 :李倩
-
AI
+關(guān)注
關(guān)注
87文章
28875瀏覽量
266194 -
模型
+關(guān)注
關(guān)注
1文章
3032瀏覽量
48346
原文標(biāo)題:清華系千億基座對話模型ChatGLM開啟內(nèi)測,單卡版模型已全面開源
文章出處:【微信號:OSC開源社區(qū),微信公眾號:OSC開源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論