清華類(lèi)腦視覺(jué)芯片取得重大突破，“天眸芯”登上Nature封面

電子發(fā)燒友網(wǎng)報(bào)道（文/李寧遠(yuǎn)）5月30日，來(lái)自清華大學(xué)類(lèi)腦計(jì)算研究中心團(tuán)隊(duì)的類(lèi)腦互補(bǔ)視覺(jué)芯片“天眸芯”登上了《Nature》封面。 文章名為“A vision chip with complementary pathways for open-world sensing”，即面向開(kāi)放世界感知的具有互補(bǔ)路徑的視覺(jué)芯片。

這是世界上首款類(lèi)腦互補(bǔ)視覺(jué)芯片，基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類(lèi)腦視覺(jué)感知新范式，突破了傳統(tǒng)視覺(jué)感知芯片在穩(wěn)定性和安全性等方面的性能瓶頸。

天眸芯：受人類(lèi)視覺(jué)系統(tǒng)啟發(fā)的互補(bǔ)雙通路類(lèi)腦視覺(jué)感知

視覺(jué)傳感器發(fā)展到現(xiàn)在，在應(yīng)用上已經(jīng)表現(xiàn)得很成熟，但目前常用的視覺(jué)成像硬件系統(tǒng)的功能仍然不能像人類(lèi)視覺(jué)系統(tǒng)那樣靈活，這一類(lèi)圖像傳感器在處理開(kāi)放世界應(yīng)用中的動(dòng)態(tài)、多樣和不可預(yù)測(cè)的場(chǎng)景時(shí)仍舊面臨著巨大的挑戰(zhàn)。

具體來(lái)說(shuō)傳統(tǒng)視覺(jué)感知芯片在高速、高分辨率、大動(dòng)態(tài)范圍和高精度方向上同時(shí)發(fā)展受到了功率和帶寬的嚴(yán)重限制。在處理開(kāi)放世界中的動(dòng)態(tài)不可預(yù)測(cè)情景時(shí)，這些感知芯片感知器件面臨失真、失效抑或高延遲等問(wèn)題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。

為解決這些限制，清華大學(xué)類(lèi)腦計(jì)算研究中心團(tuán)隊(duì)解析了人類(lèi)視覺(jué)系統(tǒng)，論文中講解到，人類(lèi)視網(wǎng)膜由視桿細(xì)胞和視錐細(xì)胞組成，它們以相反的方式運(yùn)行以擴(kuò)大靈敏度范圍。在下一個(gè)系統(tǒng)層級(jí)上，外側(cè)膝狀體（LGN）中的M通路和P通路以互補(bǔ)的方式編碼視覺(jué)信息。然后，來(lái)自L(fǎng)GN的輸出信息被重組為一系列primitive基元，這些基元包含了顏色、方向、深度和方向等信息。

傳入的感覺(jué)信息通過(guò)與感官相對(duì)應(yīng)的特定模式通道發(fā)送到大腦，這些通道中的每一個(gè)都進(jìn)一步將輸入的信號(hào)解析為并行流，向大腦提供緊湊、高效的輸入。

受到這種構(gòu)造的啟發(fā)，團(tuán)隊(duì)提出了一種類(lèi)腦的互補(bǔ)感知范式，該范式將視覺(jué)信息解析為primitive-based，并將這些原始的primitive-based信息組合在一起形成兩種互補(bǔ)的視覺(jué)通路，一是以準(zhǔn)確認(rèn)知為導(dǎo)向的認(rèn)知通路，另一種是以行動(dòng)為導(dǎo)向的快速響應(yīng)通路。

為了實(shí)現(xiàn)這一范式，團(tuán)隊(duì)開(kāi)發(fā)了“天眸”視覺(jué)芯片，該芯片結(jié)合了混合像素陣列和并行異構(gòu)讀出架構(gòu)。該芯片采用90納米背照式CMOS，對(duì)認(rèn)知導(dǎo)向的通路COP和行動(dòng)導(dǎo)向通路AOP電路做了并行的異構(gòu)組合，再通過(guò)稀疏時(shí)空差分分組器生成壓縮數(shù)據(jù)。

互補(bǔ)通路構(gòu)筑的類(lèi)腦視覺(jué)感知，已在實(shí)際應(yīng)用中展現(xiàn)超強(qiáng)性能

利用互補(bǔ)視覺(jué)路徑的特性，天眸芯實(shí)現(xiàn)了高達(dá)10000幀/秒的高速傳感，動(dòng)態(tài)范圍為130 dB，在空間分辨率、速度和動(dòng)態(tài)范圍方面具有明顯的優(yōu)勢(shì)。

天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是極低的功耗水平。不同像素、模擬、數(shù)字和接口電路下，最低為757fps@±7-bit（threshold=0）下的328.4mW。

在天眸芯中，不同的數(shù)據(jù)原始組合被編碼形成AOP數(shù)據(jù)和COP數(shù)據(jù)。這兩種通路有獨(dú)立的緩沖區(qū)，并支持獨(dú)立的反饋控制。然后，AOP和COP的處理數(shù)據(jù)被發(fā)送到不同光流求解器中。推理結(jié)果最終被集成到多對(duì)象跟蹤器。這種方法優(yōu)化了兩條互補(bǔ)通路，同時(shí)保留了低延遲響應(yīng)能力和高性能特征。

天眸芯測(cè)試板與處理系統(tǒng)示意圖，來(lái)源：Nature

在整個(gè)視覺(jué)重建中，有自監(jiān)督訓(xùn)練管道，使用兩個(gè)通路提供的彩色圖像并根據(jù)這些圖像之間的差異數(shù)據(jù)來(lái)提供訓(xùn)練樣本。不斷調(diào)整輸入數(shù)據(jù)量就能獲得任何時(shí)間點(diǎn)的高速彩色圖像，最終完成圖像輸出。

清華大學(xué)團(tuán)隊(duì)在論文中展示了實(shí)際應(yīng)用中的芯片特性，如捕捉快速移動(dòng)中的乒乓球、記錄車(chē)輪旋轉(zhuǎn)以及抓拍閃電。車(chē)輪抓拍中該芯片COP部分記錄下的車(chē)輪混疊通過(guò)高速AOP消除并進(jìn)行了抗鋸齒重建，閃電拍攝中COP遺漏的閃電在AOP進(jìn)行了補(bǔ)全，表現(xiàn)十分亮眼。

天眸芯特別在開(kāi)放環(huán)境的車(chē)載平臺(tái)上進(jìn)行了多項(xiàng)性能驗(yàn)證，在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無(wú)人系統(tǒng)領(lǐng)域的應(yīng)用潛力。

值得一提的是AOP中的稀疏數(shù)據(jù)流，加上特殊的編碼方法，使天眸能夠自適應(yīng)地調(diào)整其傳輸帶寬。即使大多數(shù)情況下芯片處于小于80 MB/s的帶寬下，但在這種互補(bǔ)感知下，大量測(cè)試案例已經(jīng)表明了該帶寬已經(jīng)足以解決許多現(xiàn)實(shí)應(yīng)用中動(dòng)態(tài)不可預(yù)測(cè)的場(chǎng)景感知難題。

清華大學(xué)表示，“天眸芯的成功研制無(wú)疑是智能感知芯片領(lǐng)域的一個(gè)重大突破。它不僅為智能革命的發(fā)展提供了一個(gè)強(qiáng)大的技術(shù)支持，還為自動(dòng)駕駛、具身智能等重要應(yīng)用開(kāi)辟了新的道路”。

繼異構(gòu)融合類(lèi)腦計(jì)算芯片“天機(jī)芯”后，清華大學(xué)類(lèi)腦計(jì)算研究中心團(tuán)隊(duì)?wèi){借“天眸芯”再次登上《自然》雜志封面。此前天機(jī)芯的發(fā)布標(biāo)志著我國(guó)在類(lèi)腦計(jì)算上的突破，此次天眸芯發(fā)布，意味著我國(guó)在類(lèi)腦感知方向上同樣取得了至關(guān)重要的突破。天眸芯的出現(xiàn)，讓視覺(jué)感知進(jìn)入了全新的篇章。

不斷突破的類(lèi)腦技術(shù)正在推動(dòng)智能應(yīng)用顛覆性變革

本次“天眸芯”的公布，加之“天機(jī)芯”積累的技術(shù)與應(yīng)用基礎(chǔ)，無(wú)疑將進(jìn)一步完善類(lèi)腦智能生態(tài)，有力地推動(dòng)通用人工智能的發(fā)展。國(guó)內(nèi)也有不少科研機(jī)構(gòu)和企業(yè)在這條賽道上持續(xù)突破，用類(lèi)腦技術(shù)推動(dòng)智能應(yīng)用變革。

北京靈汐科技是國(guó)內(nèi)領(lǐng)先的類(lèi)腦計(jì)算企業(yè)，靈汐科技研發(fā)經(jīng)理?xiàng)钫苡畈┦恳彩潜敬翁祉菊撐牡墓餐谝蛔髡咧?。靈汐科技已經(jīng)發(fā)布并量產(chǎn)了具有完全自主產(chǎn)權(quán)的商用類(lèi)腦芯片——領(lǐng)啟KA200(-S)。該款芯片采用了異構(gòu)融合、眾核并行、存算一體的架構(gòu)，單芯片集成25萬(wàn)神經(jīng)元和2500萬(wàn)突觸，可擴(kuò)展支持200萬(wàn)神經(jīng)元和20億突觸的集成計(jì)算。目前已在云邊端AI應(yīng)用領(lǐng)域取得了不錯(cuò)的落地。據(jù)悉未來(lái)還會(huì)繼續(xù)推動(dòng)類(lèi)腦技術(shù)在機(jī)器人及具身智能、大模型、智算中心等新興應(yīng)用領(lǐng)域的應(yīng)用。

SynSense時(shí)識(shí)科技今年也戰(zhàn)略收購(gòu)了瑞士類(lèi)腦視覺(jué)傳感器公司iniVation，成為全球首家完整擁有類(lèi)腦傳感和類(lèi)腦計(jì)算技術(shù)的公司，可以充分發(fā)揮類(lèi)腦感算的高效協(xié)同作用。SynSense時(shí)識(shí)科技目前正在推進(jìn)工業(yè)安防、眼動(dòng)追蹤、消費(fèi)電子、航空航天和自動(dòng)駕駛等領(lǐng)域的類(lèi)腦技術(shù)落地。

人工智能的飛速發(fā)展有目共睹，人工智能的應(yīng)用已經(jīng)從早年前的理論和小型測(cè)試發(fā)展到現(xiàn)在的企業(yè)級(jí)用例。類(lèi)腦技術(shù)正是為了解決人工智能思考的難題，模擬人類(lèi)大腦處理信息的機(jī)制使得相關(guān)芯片及相應(yīng)的硬件系統(tǒng)能夠像人類(lèi)一樣思考，成為真正意義上的人工智能。現(xiàn)在不斷突破的類(lèi)腦技術(shù)正推動(dòng)著智能應(yīng)用走向顛覆性的變革。

小結(jié)

前沿技術(shù)的突破為類(lèi)腦技術(shù)的落地提供了強(qiáng)有力的支持，類(lèi)腦技術(shù)與視覺(jué)傳感的融合打破了傳統(tǒng)視覺(jué)傳感的局限，為下一代智能視覺(jué)傳感指明了一條清晰的技術(shù)道路?？梢哉f(shuō)，類(lèi)腦技術(shù)正在為智能應(yīng)用開(kāi)辟新的道路。