ChatGPT理論分析及優(yōu)化討論

最近ChatGPT火出圈了，它和前陣子的Stable Diffusion（AIGC）一樣成為社交媒體上人們津津樂道的話題?！癈hatGPT要取代谷歌搜索了？”“ChatGPT要讓程 序員失業(yè)了嗎？”……類似的標題又一次刺激了我們的神經(jīng)。作為一名碼農(nóng)，我對后一個標題其實是嗤之以鼻的。無論ChatGPT是用了什么樣的“魔 法”，僅從目前展現(xiàn)的能力來看，它學(xué)會的頂多就是熟練使用編程語言的API，去實現(xiàn)某個函數(shù)完成人類給定的特定小任務(wù)。在真實的項目場景下，程序員 通常要接過一個含糊不清的需求，梳理其中的每個細節(jié)直至形成邏輯閉環(huán)，再將其抽象成一個個特定任務(wù)并實現(xiàn)功能，現(xiàn)有AI至多能幫上最后一個小階 段；更別提真正讓程序員頭大的往往是并發(fā)、事務(wù)一致性等問題，這些都是現(xiàn)有AI無法解決的。

但是作為一名深度學(xué)習(xí)愛好者，我對ChatGPT表現(xiàn)出來的能力是驚嘆的。無論是OpenAI提供的示例還是社交媒體上的各路花活，都讓我更新了以往對AI語 言模型特有的“人工智障”的認識。因此我其實十分好奇，ChatGPT的“魔法”原理是什么？遺憾的是，我在中文互聯(lián)網(wǎng)上并沒有找到對這個工作很好的解 讀文字，而直接看論文既費事又不是特別能理解。在一些網(wǎng)上優(yōu)質(zhì)解讀視頻的幫助下，我逐漸理解了所謂的“魔法”究竟是什么，并嘗試梳理成如下的文 字。

ChatGPT的“魔法”原理
由于ChatGPT并沒有放出論文，我們沒法直接了解ChatGPT的設(shè)計細節(jié)。但它的blog中提到一個相似的工作InstructGPT，兩者的區(qū)別是ChatGPT在后者的基 礎(chǔ)上針對多輪對話的訓(xùn)練任務(wù)做了優(yōu)化，因此我們可以參考后者的論文去理解ChatGPT。

然而，InstructGPT的論文由25頁正文和43頁附錄組成，所以本文并不試圖去講清包括訓(xùn)練策略在內(nèi)的每個細節(jié)。為了保證梳理的完整性，本文將分為上下 兩個部分：第一部分參考了Youtube上的 李宏毅 和 陳蘊儂 老師，旨在講清InstructGPT的改進思路；第二部分參考了B站UP主弗蘭克甜，試圖轉(zhuǎn)述他對 ChatGPT的深刻理解。