谷歌Transformer八子全部“出逃”，他們創(chuàng)作了ChatGPT中的“T”

各自上路，改寫AI故事。

谷歌人工智能領域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員Llion Jones證實，他將于本月晚些時候離開谷歌日本公司并計劃在休假后創(chuàng)辦一家公司。

Llion Jones對媒體表示："離開谷歌并不是一個容易的決定，與谷歌一起度過了美妙的十年，但現(xiàn)在是時候嘗試一些不同的東西了?？紤]到人工智能的發(fā)展勢頭和進展，我覺得現(xiàn)在也是建立新公司的好時機"。

自2017年出版以來，《Attention Is All You Need》轟動硅谷。該論文介紹了Transformer的概念，這種系統(tǒng)可以幫助人工智能模型將其正在分析的數(shù)據(jù)中最重要的信息歸零。Transformer 現(xiàn)在是大型語言模型的關(guān)鍵構(gòu)建塊，該技術(shù)是 OpenAI 的 ChatGPT 等流行人工智能產(chǎn)品的基礎。

隨著Llion Jones的離開，這篇論文所有八位作者都已離開谷歌。

人們也許不認識他們的臉，或者沒聽過他的名字，但只需要5秒鐘，就可以介紹他們的身份——“他們創(chuàng)作了ChatGPT中的“T”。

來源：PitchBook

谷歌為何失去“Transformer八子”

Transfomer是谷歌最重要的發(fā)明之一，它最初是在午餐時設計出來的。2017年，Alphabet公司加利福尼亞山景城總部的研究人員在中午用餐時談論如何讓計算機更高效地生成文本。在接下來的5個月里，他們進行了實驗，并在沒有意識到他們所發(fā)現(xiàn)的問題的重要性的情況下，將他們的發(fā)現(xiàn)寫成了一篇名為 《Attention is All You Need 》的研究論文。

隨后，他們帶來了人工智能的飛躍。

這篇論文的八位作者創(chuàng)建了Transformer系統(tǒng)，使機器能夠比以往任何時候都更高效地生成類似人類的文本、圖像、DNA序列和許多其他類型的數(shù)據(jù)。他們的論文最終被其他研究人員引用了8萬多次，他們設計的人工智能架構(gòu)為OpenAI的ChatGPT（"T "代表Transformer）、Midjourney等圖像生成工具提供了基礎。

谷歌與全世界分享了這一發(fā)現(xiàn)，科技公司經(jīng)常開源新技術(shù)，以獲得反饋、吸引人才和建立支持者社區(qū)。

但谷歌本身并沒有立即使用這項新技術(shù)。在谷歌努力將其尖端研究成果轉(zhuǎn)化為可用服務的過程中，該系統(tǒng)處于相對休眠狀態(tài)長達數(shù)年之久。但另一家公司OpenAI，它利用了谷歌的發(fā)明，對這家搜索巨頭發(fā)起了多年來最嚴重的威脅。

谷歌哪里出了問題？

一個明顯的問題是規(guī)模。根據(jù)人工智能公司 Glass.ai 的估計，谷歌擁有一支由 7,133 名員工組成的隊伍，而其員工總數(shù)約為 140,000 人。Glass.ai 今年早些時候掃描了 LinkedIn 的個人資料，以識別大型科技公司的人工智能員工。相比之下，OpenAI 引發(fā)了一場 AI 軍備競賽，其員工規(guī)模要小得多——到 2023 年，大約 375 名員工中約有 150 名 AI 研究人員。

谷歌的龐大規(guī)模意味著科學家和工程師在創(chuàng)建 Transformer 時必須經(jīng)過多層管理才能批準想法。谷歌智庫（該公司主要人工智能部門之一）的研究人員也缺乏明確的戰(zhàn)略方向，導致許多人沉迷于職業(yè)發(fā)展和研究論文的知名度。

另一個問題在于，將創(chuàng)意轉(zhuǎn)化為新產(chǎn)品的門檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來時說道，“除非（一個想法）能成為一項價值十億美元的業(yè)務，否則谷歌不會采取行動?！钡⒁粋€價值十億美元的業(yè)務需要不斷的迭代和面對大量問題，這是谷歌并不總是容忍的。

谷歌的一位女發(fā)言人表示，該公司 "為我們在Transformer的行業(yè)定義性、突破性工作感到自豪，并為它所創(chuàng)造的人工智能生態(tài)系統(tǒng)而感到振奮，包括讓我們的研究員在谷歌公司外推進他們的研究與其他人合作并且發(fā)現(xiàn)新機會。"

德語流利的 Uszkoreit 注意到，這項新技術(shù)可以比谷歌翻譯更準確地將英語翻譯成德語。但谷歌本身花了很長時間才將該技術(shù)應用到其免費翻譯工具或其語言模型 BERT 中，而且該公司從未將其部署在任何人都可以測試的聊天機器人中。也就是說，直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發(fā)布了Bard。

多年來，這些研究員們見證了他們的想法被其他人應用到一系列任務中，從 OpenAI 的 ChatGPT 早期迭代到 DALL-E，從 Midjourney 的圖像工具到 DeepMind 的蛋白質(zhì)折疊系統(tǒng) AlphaFold。很難不注意到最令人興奮的創(chuàng)新發(fā)生在山景城之外。

在某種程度上，谷歌成為了自身成功的受害者。它的隊伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學家，并且在 2017 年就已經(jīng)在使用尖端的人工智能技術(shù)來處理文本。許多研究人員的心態(tài)是“如果它沒有壞，就不要修理它。”

價值40億美元的AI巨星們

共同撰寫2017年論文的研究人員離開谷歌后，他們繼續(xù)創(chuàng)辦創(chuàng)業(yè)公司，包括生產(chǎn)企業(yè)軟件的Cohere，以及由Noam Shazeer創(chuàng)辦的Character.ai，Noam Shazeer是該小組中在谷歌任職時間最長的人，曾被視為公司的人工智能傳奇人物。

根據(jù)研究公司Pitchbook和價格追蹤網(wǎng)站CoinMarketCap的估值統(tǒng)計，他們的企業(yè)總價值約為41億美元?？梢哉f，他們是硅谷的人工智能的“貴族”。

八位作者在谷歌的工作時長

Polosukhin此后創(chuàng)辦了一家區(qū)塊鏈公司。Vaswani和 Niki Parmar 創(chuàng)辦了企業(yè)軟件公司 Essential.ai。Uszkoreit 喜歡挑戰(zhàn)人工智能研究的現(xiàn)狀——他的觀點是，如果它還沒有被打破，那就打破它，此后他與他人共同創(chuàng)立了一家名為 Inceptive Nucleics 的生物技術(shù)公司。

2016 年，Uszkoreit探索了人工智能中“注意力”的概念，即計算機區(qū)分數(shù)據(jù)集中最重要的信息。一年后的午餐時，三人討論了如何利用這個想法來更有效地翻譯單詞。當時的谷歌翻譯很笨拙，尤其是對于非拉丁語言?！皾h語轉(zhuǎn)俄語太糟糕了，”Polosukhin回憶道。

其中一個問題在于循環(huán)神經(jīng)網(wǎng)絡處理序列中的單詞。它很慢并且沒有充分利用可以同時處理大量任務的芯片。家用計算機中的 CPU 可能有四個“核心”，用于處理和執(zhí)行指令，但用于處理人工智能系統(tǒng)的服務器中的 CPU 有數(shù)千個核心。這意味著人工智能模型可以同時“讀取”句子中的許多單詞。沒有人充分利用這一點。

Uszkoreit 會在 Google 辦公室里走來走去，在白板上畫出新架構(gòu)的圖表，并且經(jīng)常遭到懷疑。瓊斯說，他的團隊希望刪除當時使用的循環(huán)神經(jīng)網(wǎng)絡中的“循環(huán)”部分，這“聽起來很瘋狂”。但隨著Parmar, Aidan Gomez和 Lukasz Kaiser等其他一些研究人員加入該小組，他們開始看到進展。

曾經(jīng)，硅谷“八叛逆”改變了集成電路的歷史，如今谷歌的“八叛逆”會給世界帶來怎樣的變化？