多核處理器系統(tǒng)如何維護(hù)cache一致性

汽車作為一種傳統(tǒng)的工業(yè)產(chǎn)品，如今也隨著科技發(fā)展不斷推陳出新。如果說動力系統(tǒng)是汽車的心臟，那么車載芯片就是汽車的大腦。隨著不斷有先進(jìn)的工藝和架構(gòu)應(yīng)用于車載芯片領(lǐng)域，車載芯片得性能日益提升，用以支持多樣化的娛樂功能和貼心的輔助駕駛功能，為人們提供了更好的駕乘體驗。在單核處理器不能滿足車載芯片對性能的需求時，車載芯片會采用多核處理器架構(gòu)以達(dá)到更高的處理能力。每個處理器都帶有緩存數(shù)據(jù)的組件（cache），多核系統(tǒng)設(shè)計需要考慮處理器緩存數(shù)據(jù)的一致性，防止處理器使用過時的數(shù)據(jù)從而導(dǎo)致運行出錯。因此一致性總線應(yīng)運而生，它保證了各個處理器緩存數(shù)據(jù)的一致性，使得多個處理器可以共同處理同一項事務(wù)，讓處理器的性能得到了很好得發(fā)揮。本文從一致性總線的由來、結(jié)構(gòu)和功能等方面，對其進(jìn)行了簡單介紹，希望能給讀者帶來一些啟發(fā)。

總線的由來

總線最早是源于計算機(jī)系統(tǒng)的一個專業(yè)術(shù)語，是計算機(jī)各功能部件之間傳送信息的公共通信干線。在芯片系統(tǒng)中也把連接芯片中各個組件的公共線路稱為總線?？偩€由地址線（傳送地址信息）、數(shù)據(jù)線（傳送數(shù)據(jù)信息）以及控制線（傳送控制信息）三類組成。在傳輸過程中發(fā)起請求的一方稱為主設(shè)備，返回響應(yīng)一方稱為從設(shè)備。以CPU訪問DDR為例，當(dāng)CPU發(fā)起讀訪問時，總線將讀請求和讀地址發(fā)送到DDR控制器，DDR的控制器收到讀請求后，根據(jù)讀地址將DDR中對應(yīng)的數(shù)據(jù)取出并送到總線處，總線再將數(shù)據(jù)送到CPU，此時讀訪問結(jié)束；當(dāng)CPU發(fā)起寫訪問時，總線將寫請求、寫地址和寫數(shù)據(jù)發(fā)送到DDR控制器，當(dāng)DDR完成寫數(shù)據(jù)的存儲后，發(fā)送寫應(yīng)答到總線處，總線再將其發(fā)送給CPU，此時寫訪問結(jié)束。

CPU讀寫DDR示意圖

隨著對運算能力（計算速度和計算規(guī)模）需求的不斷提高，在單核CPU無法滿足計算需求的情況下，多核CPU計算機(jī)系統(tǒng)應(yīng)運而生。目前的芯片系統(tǒng)中通常會包含多個CPU、DDR和外設(shè)，即總線上連接有多個主設(shè)備和多個從設(shè)備，各個CPU都可以使用總線訪問DDR。總線的英文名稱“BUS”形象地描述各位“乘客”（各個主設(shè)備的請求）都可以乘坐“BUS”去往相應(yīng)的“目的地”（從設(shè)備），從設(shè)備的響應(yīng)也可以通過總線返回對應(yīng)的主設(shè)備，此時總線可以理解為共享的信息通路，總線把各個組件需要傳遞的信息運送到相應(yīng)的目的地。

多路主從設(shè)備總線示意圖

Cache的由來 提高CPU運算能力的方式之一就是提高CPU工作頻率，但是單單提高CPU頻率帶來的性能提升是有限的，芯片的系統(tǒng)性能還取決于系統(tǒng)架構(gòu)、指令結(jié)構(gòu)、信息在各個部件之間的傳送速度以及存儲部件的存取速度等因素，特別是CPU與主存之間的存取速度。如果CPU工作速率高于DDR工作速率，就會造成CPU等待，降低芯片性能，浪費CPU運算能力。 此外如果CPU每次訪問DDR都要經(jīng)過總線，然而總線上的資源是有限的，CPU之間中會存在競爭關(guān)系，從中產(chǎn)生的延時也會浪費CPU的運算能力。因此Cache應(yīng)運而生，在DDR和CPU之間加入cache，cache使用速度快而容量小的SRAM來搭建，CPU在讀取數(shù)據(jù)時優(yōu)先訪問cache，如果cache中有相應(yīng)的數(shù)據(jù)，即命中，則從cache中獲取。反之，如果cache中不存在對應(yīng)的數(shù)據(jù)，再通過總線訪問DDR。Cache的優(yōu)點在于既能滿足一部分快速讀寫，又不會增加過多的芯片開銷。

多核處理器系統(tǒng)如何維護(hù)cache一致性 在多核處理器系統(tǒng)中引入cache之后，每個CPU都有對應(yīng)的cache，每個CPU都會對相應(yīng)的cache進(jìn)行讀寫操作，由于多個CPU可能對同一地址進(jìn)行讀寫操作，當(dāng)某個CPU對共享cache line進(jìn)行寫操作時，其它CPU的cache中該數(shù)據(jù)塊的副本將成為過時的數(shù)據(jù)。如果不及時地通知相應(yīng)的CPU，將導(dǎo)致錯誤的運行結(jié)果。如何保證同一地址的數(shù)據(jù)在不同cache保持一致成為大家需要考慮的問題。多核處理器系統(tǒng)數(shù)據(jù)一致性不僅僅涉及各個cache之間的一致性問題，也包含cache和DDR中數(shù)據(jù)的一致性問題。 我們基于MOESI cache一致性協(xié)議假設(shè)：CPU A、CPU B以及DDR都保存有同一cache line數(shù)據(jù)，如果CPU A想要對此cache line中的數(shù)據(jù)進(jìn)行改寫，那么總線會先使CPU B中的該 cache line無效，之后CPU A再對其cache line進(jìn)行改寫，此時DDR中該cache line的數(shù)據(jù)也成為了舊的不可用數(shù)據(jù)，如果CPU B需要使用該cache line的數(shù)據(jù)就需要向總線發(fā)起讀請求重新獲取新的數(shù)據(jù)，總線從CPU A的cache中獲取改寫后的新數(shù)據(jù)并發(fā)送給CPU B的cache；當(dāng)CPU A和CPU B的cache不再保留該cache line時需要通過總線將其寫回到DDR中?？梢钥闯龃藭r的總線具有管理各CPU cache一致性的功能，被稱為一致性總線（Coherent Bus）。

目前CPU大部分的數(shù)據(jù)訪問操作都是通過cache完成，不需要和DDR交互，所以cache的出現(xiàn)除了提高CPU訪問數(shù)據(jù)的效率，又極大的節(jié)約了總線帶寬，進(jìn)而使系統(tǒng)可容納的CPU數(shù)目增加。當(dāng)然，維護(hù)cache一致性需要一些額外的總線transaction，這稍稍降低了實際的節(jié)約量。

Cache中數(shù)據(jù)一致性維護(hù)示意圖

總線在維護(hù)cache一致性時，通知相關(guān)cache的操作稱為snoop；snoop操作分為兩種類型：全部通知和精準(zhǔn)通知。

全部通知就是通知所有的cache來查詢自身是否有與此操作相關(guān)的cache line, 這種做法的缺點是由于共享的cache line畢竟是少數(shù)的，所以CPU需要處理很多與自身不相關(guān)的snoop請求，從而增加CPU的資源開銷。由于多數(shù)snoop都是無效的，因此全部通知也會浪費總線的資源。

精準(zhǔn)通知是指總線會記錄各個cache中cache line的信息，當(dāng)有請求時，先通過snoop filter來篩選出相關(guān)的cache并發(fā)送snoop。Snoopfilter中記錄了各個cache line的地址信息和狀態(tài)信息。目前一致性總線大多采用精準(zhǔn)通知的方式，雖然snoop filter增加了總線的資源開銷，但是減少了CPU側(cè)的資源開銷，同時也避免總線發(fā)送不必要的snoop。

一致性總線通過snoop filter來記錄各個cache中的cache line狀態(tài)，在總線的視角中，cache中每個cache line的狀態(tài)都在掌握之中。而常用的cache一致性協(xié)議包含兩種：MESI和MOESI。

表：cache一致性協(xié)議之MESI協(xié)議

MESI協(xié)議的不便之處在于：假設(shè)CPUA有個一個M態(tài)的cache line，而此時CPU B想獲取此cache line，那么總線必須通知CPU A將cache line同步到主存中。在這個過程中,總線與主存的交互會消耗較長的時間，如果可以在不將數(shù)據(jù)同步回主存的情況，將CPU A的數(shù)據(jù)通過總線發(fā)送給CPU B，將會節(jié)省時間，提高效率。 MOESI協(xié)議就優(yōu)化了這一不便之處。MOESI協(xié)議允許cache之間共享dirtycache line。Dirty是指cache line相對于主存而言已經(jīng)發(fā)生變化，這樣就可以節(jié)省與主存交互的時間成本，在cache line不需要寫回主存之前，一直在cache之間傳輸。 MOESI相較于MESI多一個O態(tài)，O態(tài)代表該cache line與主存中的值不同，至少存在于兩個cache中，并由該cache在需要的時刻將cache line刷新到主存中。此外MESI和MOESI的S態(tài)有所不同，MESI的S態(tài)中的cache line與主存保持一致；而MOESI的S態(tài)中的cache line不一定與主存保持一致，可能是共享了dirty cache line，但是沒有向主存刷新cache line的義務(wù)。

表：cache一致性協(xié)議之MOESI協(xié)議

目前常采用CHI協(xié)議來實現(xiàn)一致性總線上各個組件的通信，該協(xié)議就是采用了MOESI來管理相應(yīng)的cache line 狀態(tài)。CHI靈活用于設(shè)計基于一致性總線的芯片系統(tǒng)，支持構(gòu)建小型、中型或大型芯片系統(tǒng)。系統(tǒng)包含多個組件，從CPU、GPU、DDR到外設(shè)接口，以及互連本身。 CHI協(xié)議只定義了網(wǎng)絡(luò)中不同組件，但是沒有規(guī)定使用何種方式來連接組件。一致性總線設(shè)計者可以根據(jù)PPA(Performance/Power/Area)需求靈活定義拓?fù)浣Y(jié)構(gòu)。拓?fù)浣Y(jié)構(gòu)包含以下三類：

環(huán)形拓?fù)洌≧ing）。在環(huán)中，每個組件直接連接到其他兩個組件，形成一個環(huán)狀網(wǎng)絡(luò)結(jié)構(gòu)，所有組件可以在環(huán)中相互通信。這種拓?fù)涞娜秉c是，延遲隨著環(huán)中組件的數(shù)量線性增加。這是因為相關(guān)事務(wù)只能一直沿著環(huán)形網(wǎng)絡(luò)傳輸，直到抵達(dá)目的地。因此，環(huán)形拓?fù)渥钸m合于中型系統(tǒng)。

網(wǎng)格拓?fù)?Mesh)。與環(huán)相比，網(wǎng)格包含了更多的到達(dá)目的地的路徑，因此減少了相關(guān)事務(wù)的訪問時間。這在系統(tǒng)中提供了更高的帶寬，同時也是以犧牲更多的面積為代價。網(wǎng)狀拓?fù)浣Y(jié)構(gòu)最適合于大規(guī)模系統(tǒng)。

交叉連接(Crossbar)。這種拓?fù)湓试S每個節(jié)點連接到每個可能的節(jié)點。這種設(shè)計提供了最好的性能，因為每個組件都與需要通信的組件有直接連接。這種拓?fù)涞娜秉c是連接所有組件的需要很大的資源開銷。這是因為每增加一個組件，系統(tǒng)中所需的信號線數(shù)量都會顯著增加。因此，拓?fù)渥钸m合于小型系統(tǒng)。

拓?fù)浣Y(jié)構(gòu)示意圖

為了提高CPU存取數(shù)據(jù)的速率，通常會在一致性總線上加入一級cache，也就是LLC(Last Level Cache)。LLC是一個獨占cache，是低于CPUcache的一級cache，用于緩存從總線中經(jīng)過的cacheline，它增加了芯片上總cache容量。當(dāng)總線無法從CPU的cache中獲取需要的數(shù)據(jù)時，可以先查詢LLC是否含有對應(yīng)的數(shù)據(jù)，如果命中，就可以在不訪問主存或外設(shè)的情況下，為CPU提供數(shù)據(jù)。這種多級cache結(jié)構(gòu)有效減少了芯片訪問主存或外設(shè)的次數(shù)，為高性能CPU提供了相應(yīng)數(shù)據(jù)搬運能力。

一致性總線示意圖 結(jié)語 一致性總線的出現(xiàn)有效提升了芯片系統(tǒng)內(nèi)部數(shù)據(jù)交流的效率，保證了處理器可以及時獲取有效數(shù)據(jù)，使得高性能處理器可以得到更好的發(fā)揮，起到了加速芯片系統(tǒng)運行的作用。隨著車載芯片的不斷發(fā)展，一致性總線會得到更加廣泛的應(yīng)用。

審核編輯 ：李倩