用22000個(gè)英偉達(dá)H100入局AI，初創(chuàng)企業(yè)的豪賭

最近，總部位于舊金山的人工智能初創(chuàng)公司 Inflection AI 在新一輪融資中籌集了 13 億美元，投資方包括微軟、英偉達(dá)和谷歌前首席執(zhí)行官埃里克·施密特，這筆資金將支持 Inflection AI 的首款產(chǎn)品——名為Pi （Personal A.I）的個(gè)人助理和伴侶的進(jìn)一步開發(fā)，該產(chǎn)品于 5 月推出。

此次融資使 Inflection 籌集的資金總額達(dá)到 15 億美元。該公司此前曾于 2022 年初從部分投資者那里籌集了 2.25 億美元，其中包括前 Meta 首席技術(shù)官 Mike “Schrep” Schroepfer、Google DeepMind 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Demis Hassabis 以及流行藝術(shù)家Will.i.am。

Inflection 的目標(biāo)是打造一種通用的人工智能數(shù)字助理。包括蓋茨在內(nèi)的許多技術(shù)專家將這種助手視為所有人機(jī)交互的未來。

蓋茨在高盛表示：“無論誰贏得personal agent，這都是一件大事，因?yàn)槟銓⒂肋h(yuǎn)不會(huì)再去搜索網(wǎng)站，你永遠(yuǎn)不會(huì)再去生產(chǎn)力網(wǎng)站，你永遠(yuǎn)不會(huì)再去亞馬遜?！?就在幾周前，蓋茨參與了另一家“獨(dú)角獸”，即估值超過 10 億美元的人工智能初創(chuàng)公司的融資，加入了一群著名投資者的行列，向礦業(yè)初創(chuàng)公司KoBold Metals 注入資金。

Inflection 新一輪融資的規(guī)模反映出投資者對(duì)開創(chuàng)生成式 AI 的初創(chuàng)公司的熱情高漲，尤其是那些創(chuàng)建底層大語言模型 (LLM) 的公司，這些公司是當(dāng)前 AI 熱潮的核心。近幾個(gè)月來，Cohere、Anthropic 和 Runway 等初創(chuàng)公司已宣布完成數(shù)億美元的融資。但 Inflection 的 10 億多美元資金也反映出創(chuàng)建這些人工智能模型的巨額費(fèi)用，這些模型必須在大型數(shù)據(jù)中心的昂貴的專用計(jì)算機(jī)芯片上進(jìn)行訓(xùn)練。

英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛在一份聲明中表示：“人工智能革命的一個(gè)強(qiáng)大好處是能夠使用自然的對(duì)話語言與超級(jí)計(jì)算機(jī)交互，以簡化我們?nèi)粘Ｉ畹母鱾€(gè)方面?！?“Inflection AI 的世界級(jí)團(tuán)隊(duì)正在幫助領(lǐng)導(dǎo)這項(xiàng)開創(chuàng)性的工作，部署 Nvidia AI 技術(shù)來開發(fā)、訓(xùn)練和部署大規(guī)模的生成式 AI 模型，從而實(shí)現(xiàn)令人驚嘆的個(gè)人數(shù)字助理?！?/p>

Inflection AI 由首席執(zhí)行官 Mustafa Suleyman 共同創(chuàng)立，他還于 2012 年與 Hassabis 一起幫助創(chuàng)建了高級(jí)人工智能研究實(shí)驗(yàn)室 DeepMind。谷歌于 2014 年以約 6.5 億美元收購了 DeepMind。Suleyman因被多名員工指控欺凌而于 2019 年從 DeepMind 離職，但后來短暫返回公司，然后加入谷歌擔(dān)任負(fù)責(zé)人工智能產(chǎn)品管理和政策的副總裁。隨后他于 2022 年離開谷歌，加入風(fēng)險(xiǎn)投資公司Greylock Partners，Inflection AI 的孵化地。Greylock 合伙人 Reid Hoffman 是PayPal和LinkedIn的聯(lián)合創(chuàng)始人，也是 OpenAI 的早期支持者，也是 Inflection 的聯(lián)合創(chuàng)始人。

許多風(fēng)險(xiǎn)投資家預(yù)測人工智能個(gè)人助理將融入日常生活。Andreessen Horowitz 的億萬富翁創(chuàng)始人馬克·安德森 (Marc Andreessen) 在一份 7000 字的宣言中寫道，像 Pi 這樣的聊天機(jī)器人有一天會(huì)普及到從創(chuàng)意藝術(shù)到政府的各個(gè)領(lǐng)域。

安德森在 6 月份寫道：“每個(gè)人都會(huì)有一位人工智能助理/教練/導(dǎo)師/培訓(xùn)師/顧問/治療師，他們具有無限的耐心、無限的同情心、無限的知識(shí)和無限的幫助?！?“人工智能助手將伴隨生活中所有的機(jī)遇和挑戰(zhàn)，最大限度地提高每個(gè)人的成果?！?/p>

Inflection 的第一個(gè)產(chǎn)品是一個(gè)名為 Pi 的聊天機(jī)器人，它比這種精靈般的personal agent受到的限制要大得多。事實(shí)上，它比許多競爭的聊天機(jī)器人（例如 OpenAI 的 ChatGPT 和 Google 的 Bard）更加有限。Suleyman告訴《財(cái)富》雜志， Pi 的設(shè)計(jì)目的只是成為一個(gè)有同理心的傾聽者和良好的對(duì)話者，而不是一個(gè)用于撰寫研究報(bào)告、集思廣益營銷想法或編寫軟件代碼的工具——所有這些任務(wù)都是聊天機(jī)器人可以執(zhí)行的。

Suleyman在Collision 直播中表示：“我認(rèn)為每個(gè)人的口袋里都會(huì)有一位知識(shí)淵博、友善、樂于助人且非常務(wù)實(shí)的參謀長?！?“沒有任何人可以在一次經(jīng)歷和一個(gè)人中同時(shí)完成所有這些技能......它將是參謀，它將是紅顏知己，它將是參謀長，它將是教練，它將是教育家和教師，合二為一?！?/p>

“個(gè)人人工智能將成為我們一生中最具變革性的工具。這確實(shí)是一個(gè)拐點(diǎn)，”Suleyman指出。“我們很高興能與 Nvidia、Microsoft 和 CoreWeave 以及 Eric、Bill 和其他許多人合作，將這一愿景變?yōu)楝F(xiàn)實(shí)?！?/p>

Inflection 表示，Pi 是“老師、教練、知己、創(chuàng)意合作伙伴和參謀”，其主要作用在于隨時(shí)準(zhǔn)備好與用戶進(jìn)行現(xiàn)場對(duì)話。

三位著名的創(chuàng)始人

Inflection AI 擁有三位著名的創(chuàng)始人，至少根據(jù) Crunchbase 上的資料顯示，還有第四位聯(lián)合創(chuàng)始人，他似乎在人工智能領(lǐng)域的重要公司工作，但其網(wǎng)站上沒有透露他的身份，就像他沒有被確定為 OpenAI 的聯(lián)合創(chuàng)始人成員之一一樣。這個(gè)人—— Carlos Virella——沒有太多的痕跡，據(jù)我們所知，可能是阿甘正傳式的諷刺。但 Inflection AI 的其他三位創(chuàng)始人——其中一位也是 OpenAI 的聯(lián)合創(chuàng)始人——被曝光。這三者都與 Web 2.0 初創(chuàng)社區(qū)息息相關(guān)，是十年前開始的人工智能革命的重要組成部分，兩者的結(jié)合是 Inflection AI 推出名為 Pi 的個(gè)人人工智能服務(wù)的原因。

里德·霍夫曼 (Reid Hoffman) 是眾所周知的 LinkedIn 企業(yè)網(wǎng)絡(luò)聯(lián)合創(chuàng)始人之一，當(dāng)在線拍賣商 eBay 于 2002 年 8 月斥資 15 億美元收購在線支付處理商 PayPal 時(shí)，他開始成為硅谷的一員。1998 年 12 月，一家名為 Confinity 的公司成立時(shí)，他擔(dān)任該公司的董事，并于 2000 年 1 月被任命為執(zhí)行副總裁，負(fù)責(zé)該公司的所有對(duì)外關(guān)系。三個(gè)月后，Confinity 與另一家名為 X.com 的公司合并。埃隆·馬斯克 (Elon Musk) 是后者的聯(lián)合創(chuàng)始人，彼得·蒂爾 (Peter Thiel) 是前者的聯(lián)合創(chuàng)始人，2002 年 2 月，PayPal 上市，籌集了 6100 萬美元，成為互聯(lián)網(wǎng)泡沫破滅期間為數(shù)不多的亮點(diǎn)之一。因此，僅僅六個(gè)月后，eBay 就完成了收購。

2003 年 1 月，霍夫曼與他人共同創(chuàng)立了 LinkedIn，并擔(dān)任董事長兼首席執(zhí)行官，并開始運(yùn)營其產(chǎn)品，并于 2009 年秋季成為 Greylock Partners 的合伙人。2016 年 6 月，微軟斥資 262 億美元收購 LinkedIn，霍夫曼是控股股東，他自己在這筆交易中賺取了 28.4 億美元。霍夫曼現(xiàn)在仍在 Greylock，但他的個(gè)人資金以及微軟聯(lián)合創(chuàng)始人比爾·蓋茨、前 Sun Microsystems 和谷歌高管埃里克·施密特、Nvidia 和微軟以及小型 GPU 計(jì)算云構(gòu)建專家CoreWeave的投資正在幫助資助 Inflection AI?；舴蚵?OpenAI 和微軟的董事會(huì)成員，由于與 Inflection AI 存在利益沖突，他于 3 月份辭去了 OpenAI 的職務(wù)。鑒于這家軟件巨頭與 OpenAI 的緊密合作關(guān)系，很難相信霍夫曼會(huì)在微軟董事會(huì)任職更長時(shí)間，但話又說回來，微軟正在投資 Inflection AI，作為一種對(duì)沖。因此，也許存在太多的利益沖突，它們就像雙重否定一樣相互抵消。

Inflection AI 首席科學(xué)家 Karén Simonyan 和首席執(zhí)行官 Mustafa Suleyman 都是人工智能領(lǐng)域的長期研究人員，他們創(chuàng)建并出售了成功的公司。

Simonyan 于 2013 年在牛津大學(xué)創(chuàng)建了 VGGNet 圖像處理框架，該框架通過一家名為 Vision Factory AI 的公司進(jìn)行了商業(yè)化，并很快被一家名為 DeepMind Technologies 的神秘人工智能初創(chuàng)公司收購，Simonyan 成為該公司的首席研究科學(xué)家。DeepMind 成立于 2010 年 6 月，Suleyman 擔(dān)任首席產(chǎn)品官，隨后 Google 進(jìn)入該領(lǐng)域，并在 DeepMind 收購 Vision Factory 后不久收購了 DeepMind。Facebook（當(dāng)時(shí)還不叫 Meta Platforms）曾在 2013 年試圖收購 DeepMind，谷歌為 DeepMind 的強(qiáng)化學(xué)習(xí)人工智能技術(shù)支付了 4 億到 6.5 億美元之間的費(fèi)用。

如果你想追蹤其中的聯(lián)系，Suleyman 自 2022 年 1 月以來一直是 Greylock 的合作伙伴，很容易看出 Hoffman 和 Suleyman 在走廊里炮制了 Inflection AI。2022 年 5 月，當(dāng)微軟、霍夫曼、蓋茨和施密特以及 Mike Schroepfer、Demis Hassabis、Will.i.am、Horizons Ventures 和 Dragoneer 共同投資時(shí)，Greylock 是 Inflection AI 籌集 2.25 億美元資金時(shí)的主要投資者。6 月底，Inflection AI 籌集了第二筆 13 億美元的資金，Nvidia 和 CoreWeave 成為新投資者。

人工智能正處于拐點(diǎn)

Inflection AI 的目標(biāo)是讓地球上的每個(gè)人都可以使用其 Pi（personal intelligence 的縮寫）人工智能助手。考慮到運(yùn)行LLM來回答愚蠢問題的高昂成本，計(jì)算這樣的努力需要多少計(jì)算能力以及如何負(fù)擔(dān)得起，這將是很有趣的。但暫時(shí)把它放在一邊。

為了實(shí)現(xiàn)這一目標(biāo)，Inflection AI 做了三件事：擁有懂得如何做人工智能的聯(lián)合創(chuàng)始人、擁有大筆資金的聯(lián)合創(chuàng)始人、擁有大筆資金的朋友以及有通過人工智能致富的雄心的聯(lián)合創(chuàng)始人。因此，Inflection AI 建立了自己的 LLM（第一個(gè)迭代稱為 Inflection-1），并且像 OpenAI 一樣，將在必要的硬件上投入大量資金，以提高該模型的準(zhǔn)確性并將其擴(kuò)展到更大的數(shù)量。Pi 服務(wù)的用戶數(shù)量。

考慮到用于訓(xùn)練LLM的計(jì)算引擎的高昂成本，這將需要大量資金。因此他們六月份大幅提升指出。

Inflection AI 與 Nvidia 和 CoreWeave 合作，在其 Inflection-1 LLM 上（跨越 3,500 個(gè) Hopper GPU）在 11 分鐘內(nèi)運(yùn)行了 MLPerf 參考訓(xùn)練基準(zhǔn)。我們不知道有多少 GPU 用于訓(xùn)練支撐 Pi 服務(wù)的 Inflection-1 模型，但它的數(shù)量可能比這個(gè)還要多，而且如果我們不得不猜測的話，它可能使用 Nvidia“Ampere”A100 GPU 加速器。

我們所知道的是，Nvidia 和 CoreWeave 正在合作在云中創(chuàng)建一個(gè) AI 集群，該集群將擁有超過 22,000 個(gè) H100 GPU 加速器，用于訓(xùn)練我們認(rèn)為將是 Inflection-2 LLM 的人員。Inflection AI 宣稱，這 22,000 個(gè) H100 GPU 將“在 16 位精度調(diào)制解調(diào)器中提供驚人的 22 exaflops，如果使用較低的精度，甚至?xí)摺?，并接著說，如果完成了高性能 Linpack (HPL) 矩陣數(shù)學(xué)測試放在上面，就像一臺(tái)HPC超級(jí)計(jì)算機(jī)一樣，它會(huì)在當(dāng)前的Top500排行榜上排名第二，但在El Capitan和Aurora全面上線后可能會(huì)跌至第四。

如果您使用 Hopper PCI-Express 卡對(duì) 22,000 個(gè) GOPU 加速器進(jìn)行計(jì)算，超大規(guī)模提供商和云構(gòu)建者通常使用這些卡來創(chuàng)建集群，而不是在四個(gè)或八個(gè) GPU 的集群之間使用 NVLink Switch 互連的 HGX 式板并使用 Hopper GPU 的 SXM5 變體，然后在 Tensor Core 矩陣數(shù)學(xué)引擎上以 FP16 精度，在沒有稀疏性支持的情況下獲得 16.9 exaflops，在打開稀疏性支持的情況下獲得 33.8 exaflops。您還可以使用 H100 上的 FP64 雙精度矢量數(shù)學(xué)單元獲得額定為 572 petaflops 的集群。這與 Inflection AI 在其公告中談?wù)摰?FP16 精度的 22 exaflops 不符。

這就是有趣的地方。如果您對(duì)服務(wù)器機(jī)箱內(nèi)將使用 NVLink Switch 互連的 22,000 個(gè) H100 SXM5 GPU 加速器進(jìn)行計(jì)算，那么您將得到一個(gè)集群，在 FP16 精度下，在未激活稀疏性的情況下，聚合峰值性能為 21.8 exaflops。（這可能會(huì)告訴您有關(guān) Inflection-1 LLM 的一些信息，因?yàn)樗赡懿粫?huì)使用大量稀疏數(shù)據(jù)。）這四舍五入為 Inflection AI 所說的 22 exaflops，這也產(chǎn)生了一臺(tái)峰值為 748 petaflops 的超級(jí)計(jì)算機(jī)FP64 矢量性能和 1.47 exaflops（FP64 在 Tensor Cores 矩陣引擎上運(yùn)行）。（據(jù)我們所知，沒有很多 HPC 應(yīng)用程序已移植到 Tensor Core。）

假設(shè) Linpack 基準(zhǔn)測試的計(jì)算效率為 65%，則該集群在 Top500 排名中的評(píng)級(jí)為 486 petaflops 左右，這將使其略高于日本 RIKEN 實(shí)驗(yàn)室“Fugaku”超級(jí)計(jì)算機(jī)的 442 petaflops 評(píng)級(jí)，后者在 2017 年排名第二。遠(yuǎn)低于目前排名第一的美國橡樹嶺國家實(shí)驗(yàn)室“Frontier”超級(jí)計(jì)算機(jī) 1.19 exaflops 的性能。阿貢國家實(shí)驗(yàn)室的“Aurora A21”系統(tǒng)預(yù)計(jì)將在今年晚些時(shí)候使用英特爾 CPU 和 GPU 交付時(shí)達(dá)到 2 exaflops 峰值，勞倫斯利弗莫爾國家實(shí)驗(yàn)室的“El Capitan”系統(tǒng)也將在今年晚些時(shí)候推出將遠(yuǎn)高于 2 exaflops 峰值。

這提出了一個(gè)重要的觀點(diǎn)。對(duì)于要考慮將云計(jì)算機(jī)與本地計(jì)算機(jī)進(jìn)行比較的情況，您必須讓它始終為單個(gè)客戶運(yùn)行。我們認(rèn)為 Inflection AI 機(jī)器也會(huì)出現(xiàn)這種情況，甚至有可能該公司會(huì)在其上運(yùn)行 Linpack，只是為了表明自己的觀點(diǎn)，并在 11 月份真正進(jìn)入 Top500 榜單。但是，如果 Inflection AI 沒有幾乎連續(xù)地使用機(jī)器——我們想說的是絕對(duì)連續(xù)地使用機(jī)器，就像世界 HPC 實(shí)驗(yàn)室的機(jī)器一樣，但也許說 75% 或 80% 的時(shí)間就足夠了——那么它不應(yīng)該被算作本身就是一臺(tái)獨(dú)特的機(jī)器。

這將我們引向下一點(diǎn)。如此大量的容量需要花費(fèi)多少錢？讓我們從使用 H100 PCI-Express 卡的集群開始嘗試一下。假設(shè)這些 H100 PCI-Express 卡的價(jià)格約為 20,000 美元，按我們認(rèn)為接近當(dāng)前市場價(jià)格計(jì)算，即 4.4 億美元。需要 2,750 個(gè)節(jié)點(diǎn)來容納所有這些 GPU，每個(gè)機(jī)箱有 8 個(gè)。配備一對(duì)強(qiáng)大的 CPU、2 TB 內(nèi)存和用于數(shù)據(jù)和操作系統(tǒng)存儲(chǔ)的 34.5 TB NVM-Express 閃存（總共十個(gè)驅(qū)動(dòng)器，兩個(gè)用于操作系統(tǒng)的skinny驅(qū)動(dòng)器），每個(gè)驅(qū)動(dòng)器的運(yùn)行成本可能約為 150,000 美元。另外還有 4.125 億美元。正如 Nvidia 喜歡說的那樣，InfiniBand 網(wǎng)絡(luò)是另外 20%，即 2.13 億美元，這使其達(dá)到 10.7 億美元。

現(xiàn)在，讓我們看看 SXM 設(shè)置。同樣是 2,750 個(gè)節(jié)點(diǎn)，但這次 GPU 的成本可能約為 30,000 美元，因此 22,000 個(gè)節(jié)點(diǎn)的成本為 6.6 億美元。這些節(jié)點(diǎn)在機(jī)箱內(nèi)的 NVLink Switch 成本還有 25,000 美元左右，機(jī)箱外的 InfiniBand 成本也有 2.13 億美元左右?，F(xiàn)在您的資產(chǎn)達(dá)到 13.5 億美元。這看起來就像 Inflection AI 正在討論的使用 CoreWeave 和 Nvidia 構(gòu)建的集群的場景。

這比美國政府為其百億億級(jí)超級(jí)計(jì)算機(jī)投入的資金要多得多，美國政府按標(biāo)價(jià)計(jì)算的成本約為 5 億至 6 億美元，加上一次性工程 (NRE) 成本。

云開銷（包括系統(tǒng)管理、房地產(chǎn)和電力成本）很容易再增加 2 億美元，加上 CoreWeave 約 5% 的利潤率，成本將增加至 16.3 億美元。這略高于 Inflection AI 迄今為止從投資者那里籌集的 15.3 億美元。幸運(yùn)的是，有了云，它不必像巨大的預(yù)留實(shí)例那樣一次性全部支付。或者，也許確實(shí)如此，這就是為什么價(jià)格不會(huì)高于這個(gè)。（你能想象為這樣一個(gè)集群按需付費(fèi)嗎？）

Pi 訂閱的價(jià)格是多少？需要有多少用戶以及多快才能支付費(fèi)用？比爾蓋茨有足夠的錢，不必關(guān)心，英偉達(dá)和微軟也是如此。也許里德·霍夫曼也是。但您可以放心，所有這些數(shù)學(xué)計(jì)算都已完成。