關(guān)于Graphcore IPU設(shè)計(jì)背后的思考

幾個(gè)月前注意到Graphcore這個(gè)公司，是因?yàn)樗麄兊腎PU處理器：Intelligence Processing Unit。但除了看到他們一系列非常漂亮的DNN Graph（比如上面這個(gè)對于ResNet Conv1的可視化處理）之外，一直沒有更詳細(xì)的信息。在最近的RAAIS會議上，Graphcore的CTO，Simon Knowles做了一個(gè)介紹，讓我們可以一窺IPU設(shè)計(jì)背后的一些思考。

“We’ve created a completely new processor that’s the first to be specifically designed for machine intelligence workloads – an Intelligence Processing Unit (IPU) that will set a new pace of innovation. ” “The IPU has been optimized to work efficiently on the extremely complex high-dimensional models needed for machine intelligence workloads. It emphasizes massively parallel, low-precision floating-point compute and provides much higher compute density than other solutions.” - Graphcore

從目前看到的信息，可以看到Graphcore IPU的一些關(guān)鍵Feature：

1. 同時(shí)支持Training和Inference，對于這一點(diǎn)，Grophcore有自己的一些獨(dú)特的看法。

2. 采用同構(gòu)多核（many-core）架構(gòu)，超過1000個(gè)獨(dú)立的處理器。每個(gè)處理器核的處理能力和具體支持的操作還不清楚。支持all-to-all的核間通信，采用Bulk Synchronous Parallel的同步計(jì)算模型（又是上個(gè)世紀(jì)80年代提出的）。

3. 采用大量片上memory，不直接連接DRAM。這可能是他們的架構(gòu)中最激進(jìn)的一個(gè)選擇。

其它一些feature，比如

1. Training or Inference
Graphcore’s machine intelligence processors support both training and inference. If you’re thinking about it in terms of training and inference, though, you’re probably thinking about hardware for machine learning in the wrong way.

可以看出，當(dāng)被問及他們的IPU是用于Training還是Inference的（這是對各種PU最常見的一個(gè)問題）時(shí)候，Graphcore試圖從另一個(gè)角度去解答，即這種分類本身就是不對的（是目前某些廠商提出的不合適的說法）。總的來說，他們認(rèn)為先做Training然后做Inference的機(jī)制，未來一定會被Learning取代。也就是未來理想的機(jī)器智能應(yīng)該能夠在部署之后還能保持持續(xù)的學(xué)習(xí)和進(jìn)化。對于這個(gè)問題，Graphcore專門有一篇Blog做了說明，大家可以參考我在知乎上給出的翻譯（https://zhuanlan.zhihu.com/p/28053630）。

另一方面，他們認(rèn)為，從計(jì)算上來說，Inference和Training也有類似的特征。因此，他們的模型是下圖這樣，其中并沒有Training的模塊。

我的看法：
機(jī)器智能努力的方向之一就是Continuous Learning。如果在一個(gè)架構(gòu)上能夠同時(shí)很好的支持Training和Inference當(dāng)然非常理想。不過從目前的實(shí)踐來看，Deep Learning中的Training和Inference還是有較大的差異的，運(yùn)算量的巨大差別，精度要求不同，算法差別，部署的Constraints等等。Graphcore最終推出的IPU能否很好的解決這些問題，還有待觀察。

2.? What Shall we bet is fundamental to MI workload

IPU的設(shè)計(jì)的基礎(chǔ)是Graphcore對于機(jī)器智能的Workload的理解。“在所有形式的機(jī)器智能計(jì)算中，我們試圖從數(shù)據(jù)中推斷知識模型，然后使用這些學(xué)習(xí)的模型從其他數(shù)據(jù)推斷出新的結(jié)果。所以在很大程度上，工作量是由知識模型的性質(zhì)來定義的”?！爸R模型和對它們執(zhí)行推理所需的算法最自然地表示為圖形（Graph）”。因此，他們用Graph來作為機(jī)器智能的基礎(chǔ)表示方法。這種表示既適用于神經(jīng)網(wǎng)絡(luò)，也適用于貝葉斯網(wǎng)絡(luò)和馬爾科夫場，包括未來可能出現(xiàn)的新的模型和算法。

這些Graph的第一個(gè)特征，是它們規(guī)模很大，通常包括數(shù)千到數(shù)百萬個(gè)頂點(diǎn)。這也意味著巨大的并行性。第二個(gè)特征是它們是稀疏的，大多數(shù)頂點(diǎn)只連接到其他一小部分頂點(diǎn)。因此，必須在架構(gòu)上適應(yīng)這種稀疏性，因?yàn)樗鼘μ幚砥髦g的存儲器訪問模式和通信模式有重大影響。第三個(gè)基本特征是數(shù)據(jù)的統(tǒng)計(jì)近似值。從處理器設(shè)計(jì)的觀點(diǎn)來看，這有利于低精度浮點(diǎn)運(yùn)算。這可能是低精度數(shù)據(jù)的高性能計(jì)算的第一個(gè)主要應(yīng)用，和傳統(tǒng)的高性能計(jì)算（HPC）是非常不同的（或者說完全相反的？）。另一個(gè)特征是模型參數(shù)的重用性。簡單來說，卷積是空間重用，而回歸是時(shí)間重用。這種重用可以獲取數(shù)據(jù)中的空間或時(shí)間不變性。同時(shí)，如果重用參數(shù)，則會將其作用于給更多的數(shù)據(jù)，從而更快地學(xué)習(xí)。最后一個(gè)基本特征是，圖形結(jié)構(gòu)可以被視為靜態(tài)的 - 至少在很長一段時(shí)間內(nèi)。這對于構(gòu)建高效的并行計(jì)算至關(guān)重要，因?yàn)槭沟镁幾g器可以在將程序映射到多核并行處理器時(shí)的三個(gè)NP hard任務(wù)有可能實(shí)現(xiàn)：1）平衡跨處理器核的計(jì)算任務(wù)；2）分區(qū)和分配內(nèi)存；3）處理器之間的消息調(diào)度。

對于稀疏性，還可以更進(jìn)一步的說明一下。當(dāng)我們把圖模型存儲到物理可實(shí)現(xiàn)的存儲器中的時(shí)候，存儲器訪問的有效稀疏度進(jìn)一步增加了。例如，一個(gè)圖中的頂點(diǎn)可能連接到同樣接近的100個(gè)相鄰頂點(diǎn)。但是，如果我將該頂點(diǎn)的狀態(tài)存儲在具有線性地址的存儲器中，則它只能有兩個(gè)直接鄰居。在低維存儲器中存儲高維Graph的效果是使鄰域分散在存儲器中。這對于非常寬的向量機(jī)（如GPU）來說是一個(gè)潛在的問題。圖處理有利于更細(xì)粒度的機(jī)器，從而有效地分散和收集（scatter and gather）數(shù)據(jù)。這就是為什么IPU擁有比GPU更多的處理器，每個(gè)處理器都設(shè)計(jì)用于處理較窄的向量。

基于上述對機(jī)器智能的Workload的理解，Graphcore提出了IPU的設(shè)計(jì)。

和CPU (scalar workload)，GPU (low-dimensional workload)相比，IPU是為了high-dimensional graph workload而設(shè)計(jì)的。下面我們就看他們的一些比較有參考價(jià)值的設(shè)計(jì)上的考慮。