硬件的未來在AI、AI的未來在材料

前言

由于，人工智能（AI）擔負工作與目前大多數(shù)計算機的運算工作有些不同。然而，AI隱含著分析預(yù)測、推理、直觀的能力與功能。實時是最有創(chuàng)意的機器學(xué)習(xí)算法也受到現(xiàn)有機器硬件能力的束縛。因此，若要在AI方面取得長足進步，我們必須在硬件上進行改變，或是半導(dǎo)體材料上進行突破。演變從GPU開始，引入模擬設(shè)備（analog devices），然后演變成為具容錯性量子計算機（fault tolerant quantum computers）。 現(xiàn)在從大規(guī)模分布式深度學(xué)習(xí)算法應(yīng)用于圖形處理器（GPU）開始將高速移動的數(shù)據(jù)，達到最終理解圖像和聲音。DDL算法對視頻和音頻數(shù)據(jù)進行訓(xùn)練，GPU越多表示學(xué)習(xí)速度越快。

目前，IBM創(chuàng)下紀錄：隨著更多GPU加入能提升達到95％效率，就能識別750萬個圖像達到33.8％，使用256個GPU 于64個Minsky電源系統(tǒng)上。 自2009年以來，隨著GPU模型訓(xùn)練從視頻游戲圖形加速器轉(zhuǎn)向深度學(xué)習(xí)，使分布式深度學(xué)習(xí)每年以約2.5倍的速度發(fā)展。所以IBM曾于2017年IEEE國際電子設(shè)備會議（2017 IEEE International Electron Devices Meeting）針對應(yīng)用材料發(fā)表Semiconductor Futurescapes： New Technologies， New Solutions，談到需要開發(fā)哪些技術(shù)才能延續(xù)這種進步速度并超越GPU？

如何超越GPU IBM研究公司認為，GPU的轉(zhuǎn)變分為三個階段進行：

1、首先將在短期內(nèi)利用GPU和傳統(tǒng)的CMOS構(gòu)建新的加速器以繼續(xù)進行；

2、其次將尋找利用低精密度和模擬設(shè)備（analog devices）來進一步降低功率和提高性能的方法；

3、然后進入量子計算時代，它可是一個機會，能提供全新的方法。 在CMOS上的加速器還有很多工作要做，因為機器學(xué)習(xí)模型可以容忍不精確的計算。正因為“學(xué)習(xí)”模型可以借助錯誤學(xué)習(xí)而發(fā)揮作用，然而，在銀行交易是無法容忍有一些許的錯誤。預(yù)估，精準運算快速的趨勢，到2022年每年以2.5倍在提高。所以，我們還有五年時間來突破模擬設(shè)備（analog devices），將數(shù)據(jù)移入和移出內(nèi)存以降低深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練時間。因此，analog devices尋找可以結(jié)合內(nèi)存和運算，對于類神經(jīng)演算的進展將是非常重要的。 類神經(jīng)演算如同模擬腦細胞。神經(jīng)元（neurons） 結(jié)構(gòu)相互連接以低功率訊號突破von-Neumann的來回瓶頸（von-Neumann’s back-and-forth bottleneck），使這些訊號直接在神經(jīng)元之間傳遞，以實現(xiàn)更高效的計算。美國空軍研究實驗室正在測試IBM TrueNorth神經(jīng)突觸系統(tǒng)的64芯片數(shù)組，專為深度神經(jīng)網(wǎng)絡(luò)推理和挖掘信息而設(shè)計。該系統(tǒng)使用標準CMOS，但僅消耗10瓦的能量來驅(qū)動其6400萬個神經(jīng)元和160億個突觸。 但相變化內(nèi)存（phase change memory）是下一代內(nèi)存材料，可能是針對深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化的首款仿真器件。

進入量子時代 （quantum） 據(jù)IBM公司的研究論文，在Nature Quantum Information中展示了機器學(xué)習(xí)中量子的優(yōu)勢證明（“Demonstration of quantum advantage in machine learning”），展示了只有五個超導(dǎo)量子位處理器，量子運算能夠穩(wěn)定減少達100倍運算步驟，并且比非量子運算更能容忍干擾的信息。 IBM Q的商業(yè)系統(tǒng)現(xiàn)在有20個量子位，并且原型50個量子位設(shè)備正在運行。它的平均時間為90μs，也是以前系統(tǒng)的兩倍。但是容錯系統(tǒng)在今天的機器上顯示出明顯的量子優(yōu)勢。同時，試驗新材料（如銅相通的替代品）是關(guān)鍵 - IBM及其合作伙伴在IEDM上推出的其他關(guān)鍵芯片改進，以推進所有運算平臺，從von Neumann到類神經(jīng)及量子。 解決處理器到儲存器的連接和帶寬瓶頸，將為AI帶來新的儲存器架構(gòu)，最終可能導(dǎo)致邏輯和儲存器制造過程技術(shù)之間的融合。IBM的TrueNorth推理芯片就是這種新架構(gòu)的一個例子，其中每個神經(jīng)元都可以存取自己的本地儲存器，并且不需要脫機存取儲存器。 借助訓(xùn)練和推理形式的AI運算，必須推向邊緣裝置上（edge devices），例如：手機、智能手表等。因此，這將興起由計算設(shè)備組成的網(wǎng)絡(luò)系統(tǒng)。大多數(shù)這樣的邊緣裝置會受到功率和成本的限制，所以他們的計算需求可能只能透過高度優(yōu)化的ASIC來滿足?，F(xiàn)在，傳統(tǒng)無晶圓廠半導(dǎo)體公司是否有能力提供這類型的ASIC或是否由AI芯片新創(chuàng)公司例如云端服務(wù)提供商，由誰主導(dǎo)目前還為時過早。

備注：*馮諾伊曼架構(gòu)（von Neumann bottleneck）：是一種將程序指令內(nèi)存和數(shù)據(jù)存儲器合并在一起的計算機設(shè)計概念架構(gòu)，因此也隱約指出將儲存裝置與中央處理器分開的概念。在CPU與內(nèi)存之間的流量（數(shù)據(jù)傳輸率）與內(nèi)存的容量相比起來相當小，在現(xiàn)代計算機中，流量與CPU的工作效率相比之下非常小。當CPU需要在巨大的數(shù)據(jù)上執(zhí)行一些簡單指令時，數(shù)據(jù)流量就成了整體效率非常嚴重的限制，CPU將會在數(shù)據(jù)輸入或輸出內(nèi)存時閑置。由于CPU速度遠大于內(nèi)存讀寫速率，因此瓶頸問題越來越嚴重。