電子發(fā)燒友App
OpenAI通過一系列在AI技術(shù)和產(chǎn)品上的突破，引爆了通用人工智能（AGI）的發(fā)展，被微軟CEO 薩提亞?·?納德拉稱為“堪比工業(yè)革命的技術(shù)浪潮”。OpenAI趟出來的以大語言模型為主的AGI技術(shù)路線，也基本上宣告了其他AI技術(shù)路線的終結(jié)，這樣以一己之力改變整個(gè)領(lǐng)域航道的，在技術(shù)史上也是空前絕后。一個(gè)區(qū)區(qū)兩三百人（在去年底推出ChatGPT時(shí)，OpenAI團(tuán)隊(duì)大約270人）的創(chuàng)業(yè)公司，何以在眾多巨頭逐鹿多年的AI競技場一路披荊斬棘，摘得通用人工智能的圣杯？無論在硅谷，還是在國內(nèi)，很多人都在問：
為什么AGI這樣史詩級的革命，背后的核心推手竟然是OpenAI這樣的創(chuàng)業(yè)公司？OpenAI到底做對了什么？
我自從2016年開始一直追蹤研究AI領(lǐng)域的產(chǎn)業(yè)發(fā)展，每年籌辦全球機(jī)器學(xué)習(xí)技術(shù)大會（ML-Summit）的工作原因，陸續(xù)和很多來自O(shè)penAI的專家、包括Ilya Sutskever（首席科學(xué)家）、Lukasz Kaiser（Transformer共同發(fā)明人）、Andrej Karpathy（聯(lián)合創(chuàng)始人）、Ian goodfellow（GAN之父）等經(jīng)常接觸和交流。很早就注意到了OpenAI這個(gè)在AI領(lǐng)域特立獨(dú)行的“異類”。
如果回看AI產(chǎn)業(yè)的發(fā)展歷史，和OpenAI歷史道路上的諸多關(guān)鍵選擇，我?guī)缀躞@嘆地發(fā)現(xiàn)，作為一家創(chuàng)業(yè)公司，OpenAI在每一次關(guān)鍵的岔路口上，都毫不猶豫地選擇了“難而正確”的決定。回顧OpenAI發(fā)展歷史上這些“難而正確”的選擇，我覺得對于我們今天很多AI領(lǐng)域的同行者會有重要的啟發(fā)。
愿景和使命：劍指通用人工智能
「我們的目標(biāo)是以造福全人類的方式推進(jìn)人工智能。今天的AI系統(tǒng)雖然令人驚嘆，但很多表現(xiàn)又不免差強(qiáng)人意。但在未來，AI極有可能在幾乎所有智力任務(wù)上達(dá)到人類的表現(xiàn)。這項(xiàng)事業(yè)的結(jié)果是不確定的，工作是困難的，但我們相信我們的目標(biāo)和結(jié)構(gòu)是正確的?！?/p>
這段話是我摘抄自O(shè)penAI 在2015年12月剛成立不久創(chuàng)始團(tuán)隊(duì)發(fā)表的“愿景和使命”博客中的一段文字。八年后的今天讀來，感受仍然是真誠和激蕩的。
OpenAI能夠在2015年整個(gè)AI領(lǐng)域被各種迷霧籠罩的時(shí)候，就提出“通用人工智能”這一強(qiáng)大的“愿景和使命”，是建立在創(chuàng)始團(tuán)隊(duì)對人工智能的堅(jiān)實(shí)信仰、深刻理解和現(xiàn)狀研究基礎(chǔ)之上的，我將這些合稱為對通用人工智能的“愿力”。這樣的“愿力”，幫助OpenAI此后在人工智能的發(fā)展道路上一次次守正出奇。
“愿景和使命”在今天浮躁的創(chuàng)投圈，很容易被異化為“忽悠VC和給員工畫餅”。但如果研究人類科技發(fā)展史，你會發(fā)現(xiàn)在一個(gè)領(lǐng)域提出強(qiáng)大的“愿景和使命”，是成為一個(gè)領(lǐng)域拓荒者的鮮明特征。反過來說，但凡革命性的事情，都有極大的難度，沒有強(qiáng)大的“愿景和使命”指引，遇到困難就很容易放棄和潰散。因此，對于那些堅(jiān)定信仰的創(chuàng)業(yè)者，我鼓勵(lì)大家大聲講出你的“愿景和使命”。我也希望我們的創(chuàng)投界、媒體界對于創(chuàng)業(yè)者的“愿景和使命”要鼓勵(lì)支持、而非奚落鞭撻。
我時(shí)常在想如果將時(shí)間拉回到2015年，如果30歲的Sam Altman和29歲的Ilya Sutskever這兩位毛頭小子在我們的某個(gè)創(chuàng)投活動上講出上述“愿景和使命”，是不是會被一眾“大佬”唾沫星子淹死？事實(shí)是OpenAI在成立時(shí)就獲得了大約1億美金的捐贈，彼時(shí)OpenAI還是以非贏利性組織的方式成立的。
技術(shù)路線一：無監(jiān)督學(xué)習(xí)
OpenAI剛成立不久，就在Ilya Sutskever的領(lǐng)導(dǎo)下下注“無監(jiān)督學(xué)習(xí)”這條道路。熟悉AI研究領(lǐng)域的朋友都知道，今天這個(gè)看起來無比正確的決定，在2015-2016年，絕對不是那么顯而易見。因?yàn)楸藭r(shí)的人工智能領(lǐng)域，通過標(biāo)注數(shù)據(jù)方法的“監(jiān)督學(xué)習(xí)”大行其道，在很多垂直領(lǐng)域比如推薦系統(tǒng)、機(jī)器視覺等，效果也更好。
而“無監(jiān)督學(xué)習(xí)”在理論突破和工程技術(shù)上彼時(shí)都非常不成熟，效果也大打折扣，屬于典型的“非主流”。但無需人工標(biāo)注數(shù)據(jù)的“無監(jiān)督學(xué)習(xí)”具有強(qiáng)大的普適性、且易擴(kuò)展，通過大規(guī)模的數(shù)據(jù)預(yù)訓(xùn)練，模型就能學(xué)到數(shù)據(jù)中蘊(yùn)涵的人類豐富的知識，從而在各類任務(wù)中大顯身手。對于“通用人工智能”這一目標(biāo)來說，“無監(jiān)督學(xué)習(xí)”顯然具有“任務(wù)的普適性”和依據(jù)海量數(shù)據(jù)進(jìn)行快速“scale（擴(kuò)展）”的能力。
今天來看，很多“監(jiān)督學(xué)習(xí)”方法都被OpenAI的“無監(jiān)督學(xué)習(xí)”大幅甩開，但在當(dāng)時(shí)選擇“無監(jiān)督學(xué)習(xí)”顯然屬于“難而正確”的決定，這樣的關(guān)鍵道路選擇和OpenAI對AGI的愿景是密不可分的。
技術(shù)路線二：生成式模型
當(dāng)2016年，各種“識別”類任務(wù)（如視覺識別、語音識別等）大行其道時(shí)，OpenAI在2016年6月發(fā)表《生成式模型（Generative Models）》中開篇就引用著名物理學(xué)家費(fèi)曼的名言“What I cannot create, I do not understand. 如果不能創(chuàng)造，就無法理解”。也將OpenAI的研究重心放在生成式任務(wù)上。
而彼時(shí)雖然有Ian goodfellow 發(fā)明的GAN（生成式對抗網(wǎng)絡(luò)）的驚艷時(shí)刻，但它的不可解釋性，以及相較于識別類任務(wù)的“有用”，總體上，主流的人工智能業(yè)界其實(shí)對于生成式模型的判斷是“難度大，但用處不大”。
但通讀《生成式模型（Generative Models）》文章中，可以看出OpenAI團(tuán)隊(duì)對于生成式模型是“AGI必經(jīng)之路”的堅(jiān)定，就能體會出OpenAI團(tuán)隊(duì)卓爾不群、堅(jiān)定自我的特質(zhì)。
技術(shù)路線三：自然語言
雖然在2012年深度學(xué)習(xí)進(jìn)入工業(yè)界成為主流方法之后，機(jī)器視覺很快成為更為成熟、效果更好、變現(xiàn)能力也更強(qiáng)的領(lǐng)域。雖然Ilya Sutskever也是通過AlexNet參加ImageNet大賽拔得頭籌而在機(jī)器視覺領(lǐng)域一戰(zhàn)成名，但OpenAI在做了一些嘗試之后并沒有選擇視覺作為主攻方向，而是選擇了押注更難、更險(xiǎn)的“自然語言”。
相對視覺、語音等領(lǐng)域，自然語言處理長期被認(rèn)為是相對落后的領(lǐng)域，因?yàn)樽匀徽Z言任務(wù)具有巨大的復(fù)雜性和解空間，很多方法在某一個(gè)單一任務(wù)上可以，但放到另一任務(wù)上就表現(xiàn)很差，起伏不定。業(yè)界也有說法，自然語言處理是人工智能領(lǐng)域的“圣杯”。
在嘗試OpenAI Gym（開源強(qiáng)化學(xué)習(xí)平臺）和OpenAI Five（使用強(qiáng)化學(xué)習(xí)打Dota2游戲）的同時(shí)，OpenAI在使用無監(jiān)督學(xué)習(xí)來進(jìn)行自然語言的任務(wù)上走的越來越遠(yuǎn)。特別是2017年通過生成式方式來預(yù)測 Amazon 評論的下一個(gè)字符，取得了很棒的效果。
為什么OpenAI選擇押注自然語言？套用著名哲學(xué)家維特根斯坦“語言的邊界就是世界的邊界”。如果用Ilya Sutskever的話來說?“語言是世界的映射，GPT是語言的壓縮”。就人類智能而言，自然語言是核心中的核心，而其他視覺、語音等都不過是自然語言的輔助佐料。
正是有了對自然語言通向AGI道路信仰般的押注，等到2017年6月12日Google的Transformer奠基性論文《Attention is All You Need》一發(fā)布，用Ilya Sutskever的原話說論文發(fā)表的第二天，他看到論文后的第一反應(yīng)是“就是它了”。Transformer模型從理論上顛覆了前代RNN、LSTM等自然語言處理方法，掃清了OpenAI團(tuán)隊(duì)苦苦探索自然語言領(lǐng)域的一些關(guān)鍵障礙。
然而遺憾的是，Transformer這一理論模型并沒有在Google內(nèi)部得到足夠的重視，反倒讓OpenAI團(tuán)隊(duì)如獲至寶。這一幕像極了1979年喬布斯參觀施樂PARC研究院的Alto電腦上的圖形界面（GUI）和鼠標(biāo)后，回到蘋果就開始押注圖形界面并開啟了轟轟烈烈的個(gè)人電腦時(shí)代，而施樂PARC的領(lǐng)導(dǎo)層卻遲遲看不到GUI向普通大眾釋放的巨大計(jì)算潛力。而親自打造Transformer的七位共同發(fā)明人后來也陸續(xù)離開Google，有的加入OpenAI（包括我們2021年全球機(jī)器學(xué)習(xí)技術(shù)大會的keynote speaker、OpenAI研究科學(xué)家Lukasz Kaiser），有的在硅谷VC支持下創(chuàng)辦新一代人工智能公司。很有點(diǎn)當(dāng)年硅谷仙童半導(dǎo)體“八叛徒”的昨日重現(xiàn)。
技術(shù)路線四：解碼器
在Transformer打開了大語言模型的理論窗口之后，大語言模型發(fā)展出了三種路線。第一種，以Google BERT、ELECTRA為代表的Encoder-Only（編碼器）路線；第二種，以Google T5、BART為代表的Encoder- Decoder（編解碼器）路線；第三種，以O(shè)penAI GPT為代表的Decoder-Only（解碼器）路線。
這三種路線，Encoder-Only路線適合理解類任務(wù)，很難應(yīng)對生成式任務(wù)，也不具有好的擴(kuò)展性和適應(yīng)性，雖然被Google BERT在個(gè)別子領(lǐng)域一度帶火，但現(xiàn)在幾乎處于被主流拋棄的地步。Encoder- Decoder路線適合特定場景任務(wù)，但通用性和擴(kuò)展性也比較差。Decoder-Only路線首先非常適合生成類任務(wù)，同時(shí)對各類任務(wù)都具有很好的通用性，在工程上也具有很高的可擴(kuò)展性（scale），非常適合將模型規(guī)模做大。
基于這些特點(diǎn)來看，要以AGI通用人工智能為目的地的話，那么Decoder-Only路線顯然是不二選擇。從上面的大語言模型進(jìn)化樹來看，可以看出GPT選擇的Decoder-Only路線顯然引領(lǐng)了大語言模型的發(fā)展和繁榮。
技術(shù)路線五：從強(qiáng)化學(xué)習(xí)到對齊
通過以上的無監(jiān)督學(xué)習(xí)、生成式模型、自然語言、解碼器這幾個(gè)關(guān)鍵的技術(shù)岔路口選擇之后，GPT模型顯然已經(jīng)奔赴在通往AGI的康莊大道上了。但是GPT的強(qiáng)大也引入一些新的隱憂，它的強(qiáng)大會不會為人類帶來危險(xiǎn)、破壞人類價(jià)值觀、幫助作惡、擾亂社會秩序、甚至威脅人類的生存？
這是嚴(yán)重違背OpenAI的愿景和使命的。如何將強(qiáng)大的GPT模型與人類價(jià)值觀和社會規(guī)范對齊？強(qiáng)大之后如何變得“對人類有用”？技術(shù)的問題要靠技術(shù)來解決。這時(shí)候OpenAI在早期訓(xùn)練Dota游戲智能代理時(shí)積累已久的強(qiáng)化學(xué)習(xí)功底就派上用場了。通過在預(yù)訓(xùn)練之后加入基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF，Reinforcement Learning from Human Feedback）來教導(dǎo)AI做一個(gè)對人類有益的“好的AI”，設(shè)立護(hù)欄，防止被用來做惡。這方面，OpenAI想得很遠(yuǎn)，投入的也很大，配得上它的“愿景和使命”。
工程智慧：Scale Law
如果回顧OpenAI在歷史上做的一系列技術(shù)選擇，我們會發(fā)現(xiàn)幾乎所有的選擇都是圍繞“是否有利于通用人工智能Scale”的原則進(jìn)行的，而與該技術(shù)在當(dāng)時(shí)“是否能快速變現(xiàn)”、“是否主流”、“是否容易上手”、“是否效果立竿見影”完全無關(guān)。
做過技術(shù)架構(gòu)，或者商業(yè)戰(zhàn)略的人也都知道，“快速易擴(kuò)展”是好的技術(shù)架構(gòu)或者商業(yè)模式的“鐵律”。這一鐵律同樣適用于通用人工智能的發(fā)展。OpenAI的團(tuán)隊(duì)顯然是洞悉這一點(diǎn)的。他們甚至在2020年發(fā)表了一篇著名的論文《Scaling Laws for Neural Language Models》來總結(jié)模型參數(shù)、訓(xùn)練數(shù)據(jù)集大小、算力投入（FLOPs 每秒浮點(diǎn)操作）、網(wǎng)絡(luò)架構(gòu)之間的擴(kuò)展法則。
其實(shí)除了模型的Scale Law，OpenAI對于邁向AGI道路上的各種Scale力量都有非常深刻的洞見和睿智的選擇。
產(chǎn)品智慧：從超級應(yīng)用到生態(tài)平臺
從2018年OpenAI推出GPT 1.0到2020年GPT發(fā)展到3.0，OpenAI這時(shí)已經(jīng)拿到大語言模型這樣一張王牌，但怎么出牌也很重要。歷史上握著一手技術(shù)好牌，但是打得稀爛的也比比皆是。以O(shè)penAI強(qiáng)大的“通用人工智能”愿景來說，不做平臺型公司是很難的。但是科技史上一上來就做平臺的公司，大部分都折戟沙場。反觀那些成功的平臺型技術(shù)公司，絕大多數(shù)都是先從建立“超級應(yīng)用”開始的。
歷經(jīng)硅谷頂級孵化器YC總裁的鍛煉，OpenAI的另一位靈魂人物CEO Sam Altman，當(dāng)然是產(chǎn)品戰(zhàn)略高手中的高手。OpenAI選擇先從ChatGPT這一“超級應(yīng)用”入手，通過短短幾個(gè)月的時(shí)間，積累了上億的用戶、海量的交互數(shù)據(jù)、和極強(qiáng)的品牌號召力，才有后面的ChatGPT API, Plugins等一系列大手筆的平臺布局。以目前各種渠道的消息來看，OpenAI在產(chǎn)品上還有很多大招，讓我們拭目以待。
順便提一下，我在前面《AGI時(shí)代的產(chǎn)品版圖和范式》文章中，也更深入地談了很多我對AGI時(shí)代產(chǎn)品創(chuàng)新的思考。
股權(quán)設(shè)計(jì)：限制盈利公司
OpenAI最早是以非盈利組織的方式成立，初期資金以捐贈的方式募集。但顯然創(chuàng)始團(tuán)隊(duì)低估了發(fā)展AGI需要的硬件和人才投入，也高估了捐贈的兌現(xiàn)（早期承諾的捐贈后來其實(shí)很多沒到位）。因此到2019年3月，OpenAI重新設(shè)計(jì)公司治理架構(gòu)，改為“限制盈利”的公司，接受微軟10億美金投資。
“限制盈利”規(guī)定向OpenAI投資的股東，未來從OpenAI能夠獲取的利潤分配最多到投資額X100倍的上限。超出部分將由非盈利組織OpenAI Nonprofit控制。
這一精妙的股權(quán)設(shè)計(jì)既能吸引OpenAI所需要的投資，又防止了AGI過于強(qiáng)大而攫取巨額利潤。平衡了發(fā)展AGI需要的商業(yè)支持和AGI造福全人類這一宏大愿景之間的矛盾。我覺得若干年后回看歷史，這一股權(quán)設(shè)計(jì)也是商業(yè)史上一個(gè)偉大的發(fā)明。創(chuàng)始人兼CEO Sam Altman不拿股權(quán)，不求商業(yè)回報(bào)，一心追求AGI改變世界的胸懷也讓人心生敬意。
戰(zhàn)略設(shè)計(jì)：合縱連橫
如果將OpenAI比作AI時(shí)代的一只小恐龍，那么在AI領(lǐng)域長期重兵投入、市值萬億的Google和微軟顯然是AI時(shí)代的兩只大恐龍。OpenAI這樣的“攪局者”如果被兩只大恐龍中的任何一只盯上，都會惹火燒身。而OpenAI對于ChatGPT這樣的“爆款應(yīng)用”推出所引起的AI戰(zhàn)國紛爭顯然有充分的預(yù)判和精妙的戰(zhàn)略設(shè)計(jì)。
OpenAI首先通過和微軟這只大恐龍的戰(zhàn)略合作，既拿到百億美金量級的寶貴發(fā)展資金，同時(shí)又通過GPT賦能微軟Bing搜索、半路攔截Google這只大恐龍，還順帶將GPT賦能到自己一時(shí)半會照顧不到的B端市場（Azure云服務(wù)、Office 365等）以獲取適當(dāng)利潤，而自己卻可以集中精力、以C端市場為切入點(diǎn)、在構(gòu)建AGI時(shí)代的生態(tài)平臺上蒙眼狂奔。
這一巧妙利用巨頭“創(chuàng)新者窘境”的合縱連橫，讓一家人數(shù)僅有300多估值不過300億美金的創(chuàng)業(yè)公司，同時(shí)撬動兩家市值萬億美金、員工近二十萬的科技巨鱷的戰(zhàn)略布局，放眼整個(gè)商業(yè)史，空前絕后，蔚為大觀。
團(tuán)隊(duì)架構(gòu)：學(xué)術(shù)+工程+產(chǎn)品+商業(yè)
讀到這里很多朋友可能會問，OpenAI到底什么來頭、何德何能如此彪悍？秘密無他，科技公司最貴的就是人才。OpenAI有著足以笑傲AI江湖的聯(lián)合創(chuàng)始團(tuán)隊(duì)組合。
一號位CEO Sam Altman 20歲從斯坦福輟學(xué)創(chuàng)辦Loopt，于2012年將公司以4300萬美金出售。于2014被大自己二十歲的YC創(chuàng)始人、硅谷創(chuàng)業(yè)教父格雷厄姆說服接替他擔(dān)任YC總裁。格雷厄姆很早就看到Sam Altman的卓越才華，在他眼里，Sam Altman就是硅谷未來的喬布斯。Sam Altman在硅谷的創(chuàng)業(yè)和YC的經(jīng)歷鍛造了他在產(chǎn)品模式、商業(yè)戰(zhàn)略、投融資方面的頂級才能。
二號位首席科學(xué)家Ilya Sutskever是深度學(xué)習(xí)之父Geoffrey Hinton的關(guān)門弟子，從ImageNet大賽一戰(zhàn)成名，后來加入Google大腦，發(fā)明Seq2Seq大幅改善機(jī)器翻譯，參與TensorFlow和AlphaGo的研發(fā)。是深度學(xué)習(xí)學(xué)術(shù)領(lǐng)域當(dāng)仁不讓的“開山功臣”。
總裁Greg Brockman之前創(chuàng)立著名支付公司Stripe并擔(dān)任CTO，具有極強(qiáng)的工程技術(shù)能力和從零到一搭建技術(shù)團(tuán)隊(duì)的經(jīng)驗(yàn)。是OpenAI長期的工程技術(shù)支柱。除此之外，像Andrej Karpathy 、John Schulman、Lukasz Kaiser等燦若群星的匯聚，使得OpenAI在AI人才密度上放眼全球，都屬頂流之列。OpenAI的團(tuán)隊(duì)結(jié)構(gòu)也反應(yīng)OpenAI的AGI創(chuàng)業(yè)觀：學(xué)術(shù)、工程、產(chǎn)品、商業(yè)，四大支柱缺一不可，而且各個(gè)都很強(qiáng)。
除了自己聚焦AGI還不夠，OpenAI和Sam Altman還投資了眾多核聚變、量子計(jì)算、加密貨幣等公司，圍繞能源、算力、財(cái)富分配等未來變革進(jìn)行大手筆布局。這些每一個(gè)都劍指AGI的未來。
綜上所述，OpenAI無論是在技術(shù)的多個(gè)岔路口上的關(guān)鍵選擇，還是在產(chǎn)品、工程、股權(quán)、戰(zhàn)略、團(tuán)隊(duì)上，都打得一手好牌，是一家非常值得研究和重視的公司，也是我們窺視AGI時(shí)代的一扇窗戶。
作者簡介
李建忠? Boolan創(chuàng)始人兼任首席技術(shù)專家，全球機(jī)器學(xué)習(xí)技術(shù)大會主席。對人工智能、產(chǎn)品創(chuàng)新、商業(yè)模式有豐富經(jīng)驗(yàn)和深入研究。近年來研究以?語?模型為主的??智能?法，相關(guān)研究和咨詢引起業(yè)界強(qiáng)烈關(guān)注。曾于 2005年-2010年期間擔(dān)任微軟最有價(jià)值技術(shù)專家，區(qū)域技術(shù)總監(jiān)。擁有近二十年技術(shù)與產(chǎn)品經(jīng)驗(yàn)，為包括眾多世界500強(qiáng)公司在內(nèi)的知名品牌提供高端產(chǎn)品創(chuàng)新、技術(shù)戰(zhàn)略咨詢服務(wù)。
編輯：黃飛
?
工商網(wǎng)監(jiān)
評論