AI Engine架構(gòu)的構(gòu)成及應(yīng)用優(yōu)勢(shì)

AI Engine陣列是由一系列的AI EngineTile構(gòu)成。每個(gè)AI Engine Tile包含一個(gè)AI Engine，一個(gè)存儲(chǔ)單元和一個(gè)互連單元，如下圖所示。可以看到相鄰兩行AI Engine Tile的存儲(chǔ)單元與AI Engine的位置正好相反。

存儲(chǔ)單元可被東西南北四個(gè)方向的AI Engine共享，當(dāng)然這也跟AI Engine的位置有關(guān)。例如圖中紅色AI Engine可訪問(wèn)與之相鄰的4個(gè)存儲(chǔ)單元（黃色標(biāo)記）。最右側(cè)的橙色AI Engine就只能訪問(wèn)三個(gè)存儲(chǔ)單元，因?yàn)槠湮挥谶吔?。每個(gè)方向的存儲(chǔ)單元都有對(duì)應(yīng)的存儲(chǔ)器接口，AI Engine在訪問(wèn)相應(yīng)方向的存儲(chǔ)單元時(shí)正是通過(guò)這些接口實(shí)現(xiàn)的。每次訪問(wèn)的最大位寬為256。

水平方向相鄰的兩個(gè)AI Engine之間還有級(jí)聯(lián)端口，用于傳送累加器的結(jié)果。仍以上圖為例，最下方的一行AI Engine可從左至右級(jí)聯(lián)，倒數(shù)第二行的AI Engine可從右至左級(jí)聯(lián)。同時(shí)，最下方級(jí)聯(lián)至最右側(cè)時(shí)可與倒數(shù)第二行最右側(cè)的AI Engine級(jí)聯(lián)，形成蛇形級(jí)聯(lián)。

互連單元采用AIX4 Stream接口將數(shù)據(jù)在東西南北四個(gè)方向傳送。同時(shí)每個(gè)AI Engine Tile的存儲(chǔ)單元都包含一個(gè)DMA。每個(gè)DMA由一個(gè)獨(dú)立的S2MM和一個(gè)獨(dú)立的MM2S構(gòu)成。前者用于將數(shù)據(jù)從Stream上取下來(lái)寫(xiě)入到存儲(chǔ)單元，后者用于將存儲(chǔ)單元的數(shù)據(jù)上傳到Stream，如下圖所示。

再看AI Engine自身，如下圖所示。每個(gè)AIEngine包含一個(gè)程序存儲(chǔ)單元，大小為16KB，有2個(gè)Stream輸入接口和2個(gè)Stream輸出接口，均為32位。因此，每個(gè)時(shí)鐘周期可從一個(gè)Stream上獲取一個(gè)32位數(shù)據(jù)或每4個(gè)時(shí)鐘周期可從一個(gè)Stream上獲取一個(gè)128位數(shù)據(jù)。每個(gè)AI Engine還有4個(gè)存儲(chǔ)單元訪問(wèn)接口，但每個(gè)時(shí)鐘周期只可以有兩次讀操作和一次寫(xiě)操作。

至此，我們可以看到AI Engine有三種數(shù)據(jù)源：存儲(chǔ)單元、AXI4-Stream和級(jí)聯(lián)接口。因此，編程時(shí)需要充分了解AIE的數(shù)據(jù)訪問(wèn)能力：2個(gè)32位AXI4-Stream輸入，2個(gè)32位AXI4-Stream輸出，1個(gè)384位級(jí)聯(lián)Stream輸入，1個(gè)384位級(jí)聯(lián)Stream輸出，2個(gè)256位讀操作和1個(gè)256位寫(xiě)操作。

AI Engine本身是一個(gè)高度優(yōu)化的SIMD（Single Instruction Multiple Data）& VLIW（Very Long Instruction Word）處理器，包含1個(gè)標(biāo)量處理單元，1個(gè)向量處理單元，2個(gè)讀地址發(fā)生器，1個(gè)寫(xiě)地址發(fā)生器，1個(gè)取指和譯碼單元，如下圖所示。正因?yàn)橛?個(gè)讀地址發(fā)送器和1個(gè)寫(xiě)地址發(fā)生器，所以每次訪問(wèn)可實(shí)現(xiàn)2個(gè)256讀操作和1個(gè)256寫(xiě)操作。

審核編輯：郭婷