基于神經(jīng)科學的Numenta介紹

人腦以高效著稱，它以稀疏的表征方式存儲和處理信息。在任何時刻，只有一小部分神經(jīng)元處于活躍狀態(tài)。神經(jīng)科學家相信，他們可以將大腦啟發(fā)的邏輯映射到運行AI模型的算法、數(shù)據(jù)結(jié)構(gòu)和架構(gòu)中，從而提供一個讓AI降低功耗的配方。數(shù)據(jù)科學家是否愿意改變他們基于蠻力計算的AI實踐，這一點尚未確定，因為這種方法似乎越來越難以為繼。

正自籌資金起家的初創(chuàng)公司并不多見，更不用說這家公司在神經(jīng)科學研究領(lǐng)域玩了18年的長線游戲之后，突然推出了一款商業(yè)軟件產(chǎn)品。

更重要的是，這家初創(chuàng)公司的新產(chǎn)品直接向炙手可熱的大語言模型（LLM）AI市場發(fā)出了挑戰(zhàn)。

這家公司就是Numenta，它承諾其受神經(jīng)科學啟發(fā)的軟件可以大幅降低在CPU上運行LLM的功耗。

持懷疑態(tài)度的人可能會認為這種策略是投機取巧。Numenta的CEO Subutai Ahmad認為，這種說法并不用準確。

Numenta將數(shù)十年的神經(jīng)科學研究應用于商業(yè)產(chǎn)品的手段、動機和機遇都出現(xiàn)在AI領(lǐng)域。Numenta的研究人員特別注意到了AI科學家依靠蠻力計算來實現(xiàn)transformer的方式。

當然，神經(jīng)科學和AI并非完全形同陌路。這兩個學科在二十世紀五六十年代相互影響，后來逐漸分道揚鑣。不過，Ahmad表示，神經(jīng)科學和AI一直孤立地存在著，這點令人驚訝。

以ChatGPT為例。

盡管ChatGPT已是當紅炸子雞，但Ahmad認為，ChatGPT消耗的能源太多，最終將難以為繼。他認為，只有應用神經(jīng)科學的基本原理，開發(fā)者才能改變AI邁向死胡同軌跡。

了解Numenta

Numenta與其它大多數(shù)初創(chuàng)公司的區(qū)別在于，其聯(lián)合創(chuàng)始人Jeff Hawkins、Donna Dubinsky和Dileep George的履歷、經(jīng)驗和專業(yè)知識。

Hawkins在90年代是著名的Palm Pilot PDA的設(shè)計師。之后，他又在Handspring開創(chuàng)了名為Treo的智能手機。

Dubinsky曾在1980年代負責管理Apple的部分分銷網(wǎng)絡(luò)，又曾任Palm的CEO，后來與Hawkins共同創(chuàng)辦了Handspring。

2005年，AI和神經(jīng)科學研究員Dileep George與Hawkins和Dubinsky合作。

每位聯(lián)合創(chuàng)始人都為Numenta帶來了技術(shù)、創(chuàng)業(yè)和激情方面的獨特面向，而Hawkins則因癡迷腦科學而聞名，他是Numenta的公眾導師。他撰寫了兩本書，“On Intelligence”（2004年與Sandra Blakeslee合著）和“A Thousand Brains: A new theory of intelligence”（2021 年）。他在科學雜志上發(fā)表的許多論文經(jīng)常被大量引用。

但具有諷刺意味的是，神經(jīng)科學的進步主要局限于研究機構(gòu)，對商業(yè)市場影響甚微。據(jù)Numenta的CEO Ahmad稱，只有極少數(shù)實驗室積極將神經(jīng)科學應用于AI。“我們可能是唯一一家嘗試這樣做的公司。”

他說，Numenta很幸運能走到今天，但他認為ChatGPT是一個“巨大的功耗”。Ahmad堅信，Numenta基于神經(jīng)科學的數(shù)據(jù)結(jié)構(gòu)和算法能為LLM帶來更高的效率。

Numenta的商業(yè)產(chǎn)品

Numenta上周推出的第一款產(chǎn)品是AI軟件“NuPIC（Numenta Platform for Intelligent Computing）”。

NuPIC是為現(xiàn)有transformer設(shè)計的即插即用軟件，可以在CPU上以“極高的吞吐量和低延遲”運行LLM，該公司稱，“速度明顯快于Nvidia A100 GPU”。

Ahmad解釋說，NuPIC將作為“企業(yè)軟件”授權(quán)給“希望將LLM納入工作流程的企業(yè)”。他強調(diào)說，Numenta不提供云服務，因此這不是SaaS。NuPIC授權(quán)用戶將在自己的基礎(chǔ)設(shè)施中安裝該軟件，因此“數(shù)據(jù)和模型對他們來說是完全私有的”。

Numenta產(chǎn)品的關(guān)鍵之一是它可以“直接插入”現(xiàn)有的transformer。Ahmad說：“在外界看來，它并沒有什么不同。因此，下圖中的中間部分和界面看起來與AI世界已經(jīng)知道的完全相同。你甚至可以把傳統(tǒng)的transformer換成我們的transformer，整個東西仍然可以工作?！?/p>

Numenta聲稱，其基于神經(jīng)科學的AI解決方案“能讓客戶實現(xiàn)10到100倍以上的性能提升”。這些數(shù)字似乎好得不像真的，但該公司并非憑空捏造。Numenta有與Intel合作完成的案例研究為證。

與Intel和Xilinx的合作

Intel今年在其Xeon Max系列和第四代Intel Xeon可擴展處理器上發(fā)布了x86指令集架構(gòu)的新擴展，稱為AMX（Advanced Matrix Extensions）。AMX設(shè)計用于矩陣，以加速AI工作負載的矩陣乘法。

Numenta的團隊從去年開始與Intel合作，當時Intel正在開發(fā)AMX。Ahmad解釋說，Intel正在“利用CPU并添加類似于GPU的指令來進行矩陣乘法運算。但它仍然是CPU，而這些CPU非常靈活”。

Ahmad說，這種靈活性使Numenta“可以將我們的算法移植到這些芯片上”。Intel的一份文件指出：“Numenta展示了他們定制訓練的LLM在Intel Xeon CPU Max系列處理器上運行時，與當前一代AMD Milan CPU的實現(xiàn)相比，在處理器上配備高帶寬內(nèi)存的LLM在大型文檔（長序列長度）上的運行速度要快20倍。”

Intel總結(jié)說，Numenta已經(jīng)證明“有能力大幅降低在Intel上運行語言模型的總體成本，為客戶釋放全新的自然語言處理能力”。

Numenta的Ahmad則更進一步說：“我們可以讓transformer運行得比Nvidia GPU更快?！?/p>

現(xiàn)在判斷Numenta的軟件是否真的是Nvidia GPU Killer還為時尚早。但在Ahmad看來，Numenta從神經(jīng)科學中學到的基本原理讓公司處于優(yōu)勢地位?！斑@并不是說我們有什么魔法能讓速度提高100倍。我們所做的是減少計算量。這就是大腦的工作。這就是我們提高效率的方法?！?/p>

Numenta技術(shù)的應用范圍包括計算機視覺、語音識別和機器人技術(shù)。

在語音識別領(lǐng)域，Numenta已經(jīng)與Xilinx（已被AMD收購）開展了合作。Numenta演示了其大腦啟發(fā)的稀疏算法如何輔助機器學習，該算法在Xilinx現(xiàn)成的FPGA和GSC（Google Speech Commands）數(shù)據(jù)集上運行。根據(jù)Numenta提交的案例研究，該公司展示了“利用稀疏性擴展深度學習模型的巨大優(yōu)勢”。

神經(jīng)科學與AI

那么，究竟什么是神經(jīng)科學，它與AI有何不同？

神經(jīng)科學側(cè)重于了解神經(jīng)系統(tǒng)（大腦、脊髓和外周神經(jīng)）的基本特性以及它們?nèi)绾伟l(fā)揮作用。相比之下，AI的興趣在于開發(fā)機器來完成通常與人類智能相關(guān)的任務。

正如Ahmad所解釋的，在人工神經(jīng)網(wǎng)絡(luò)的早期，AI在很大程度上受到了神經(jīng)科學的啟發(fā)。Ahmad說：“20世紀40年代，Donald Hebb提出了神經(jīng)元可以學習的最初想法，而且神經(jīng)元可以學習模式。這啟發(fā)了最早的人工神經(jīng)元，當時被稱為感知器（perceptron）?！?/p>

他補充說，神經(jīng)科學還啟發(fā)了“反向傳播（backpropagation）”，這是深度學習的核心學習算法，一直沿用至今。

David Hunter Hubel和Torsten Wiesel共同獲得了1981年諾貝爾獎，他們研究了視覺皮層的結(jié)構(gòu)和功能。Ahmad解釋說，他們極大地增強了人類對視覺系統(tǒng)如何按層次學習物體特征的理解，首先從邊緣到角落，然后到形狀，最后到物體。

Ahmad強調(diào)說：“這種對層次結(jié)構(gòu)和特征檢測的理解直接啟發(fā)了卷積網(wǎng)絡(luò)，這種核心架構(gòu)甚至被用于當今的計算機視覺領(lǐng)域?！?/p>

直到Ahmad感興趣的90年代初，神經(jīng)科學家和深度學習研究人員之間的互動還很普遍。

不知從何時起，AI開始專注于GPU和計算。隨著GPU速度越來越快，網(wǎng)絡(luò)也越來越大。隨著計算機越來越強大，數(shù)據(jù)科學家依賴的數(shù)據(jù)也越來越多。AI成了更強大和更多閃存的代名詞。

Ahmad援引這一背景，認為當今的AI存在兩個基本問題。其弱點在于“無法持續(xù)學習”，以及對“過多數(shù)據(jù)”的貪得無厭。

根據(jù)他的定義，真正的智能系統(tǒng)是“不斷學習”的。他說，AI系統(tǒng)首先在實驗室中接受訓練，然后部署到現(xiàn)實世界中。但它們不會不斷學習。

與人類不斷漸進地學習不同，代碼還不能真正地“學習”。Ahmad在最近的一篇文章中寫道：“如果一個AI模型今天犯了一個錯誤，那么它將繼續(xù)重復這個錯誤，直到使用新的數(shù)據(jù)對它進行重新訓練。”

他說：“作為人類，我們通過四處走動來學習，我們了解世界的結(jié)構(gòu)，甚至做出預測?！?/p>

想想AI模型是如何學會識別一種新車型的。

Ahmad說，人類只需要看到“一個例子。我會從另一個角度、一天中的不同時間或在下雨天都可以認出那輛車”。Ahmad說，深度學習系統(tǒng)沒有真實的世界模型，“你必須向它們展示數(shù)以千計的各種圖像”?！八仨氂涀∵@輛車的每一個可能的角度”。

神經(jīng)形態(tài)（neuromorphic）計算與神經(jīng)科學有何不同？Ahmad解釋說，神經(jīng)形態(tài)計算是“神經(jīng)科學和AI這一更廣泛領(lǐng)域的一個子集”。雖然神經(jīng)形態(tài)工程的重點通常是構(gòu)建新的、能效極高的硬件系統(tǒng)，但Ahmad說：“我們正在開發(fā)更多的軟件和算法。我們將能夠利用芯片行業(yè)正在進行的所有創(chuàng)新，包括CPU、GPU以及所有SIMD指令和架構(gòu)?！?/p>

融資情況

Ahmad說，Numenta的資金主要來自董事會內(nèi)部，其中包括Hawkins和Dubinsky，但也有一些外部投資者。

目前，Numenta規(guī)模仍然很小，只有20名員工。Ahmad補充說：“現(xiàn)在，Numenta正在走向商業(yè)化，我們將在明年的某個時候，很可能是今年晚些時候，進行一輪大規(guī)模融資。”

過去二十年來，神經(jīng)科學家和數(shù)據(jù)科學家之間的分化很有啟發(fā)性。硅谷通過一個非常男性化的方式實現(xiàn)了驚人的發(fā)展，更大更快的CPU和GPU永遠是贏家。但如今，他們需要想辦法從拼肌肉的死胡同過渡到基于效率的模式。






審核編輯：劉清