CCIX協(xié)議對于一些高性能應(yīng)用詳解

用于加速器的緩存一致互聯(lián)協(xié)議（CCIX）是指由一家新的行業(yè)標(biāo)準(zhǔn)機構(gòu) – CCIX聯(lián)盟 -- 開發(fā)的一組規(guī)范。CCIX的驅(qū)動因素是需要比當(dāng)前可用技術(shù)更快的互連，并且需要緩存一致性，以便在異構(gòu)多處理器系統(tǒng)中更快地訪問內(nèi)存。因此，該聯(lián)盟的工作集中在使硬件加速器以緩存一致的方式使用與多個處理器共享的內(nèi)存。本文介紹了CCIX標(biāo)準(zhǔn)及其對于機器學(xué)習(xí)、網(wǎng)絡(luò)處理、存儲卸載和內(nèi)存數(shù)據(jù)庫等高性能應(yīng)用的主要優(yōu)勢。

什么是緩存一致性?

當(dāng)多個CPU共享共同的內(nèi)存空間時，它們可以通過交流該內(nèi)存中各部分已緩存的和/或可緩存的狀態(tài)來提高性能。通過這種方式，每個CPU都可以安全地處理公用數(shù)據(jù)集的某一部分，而不必使用（緩慢的）軟件旗語來控制內(nèi)存的存取的數(shù)據(jù)完整性。假設(shè)CPU A已經(jīng)緩存了一塊內(nèi)存，它就可以確保CPU B不會修改該同一內(nèi)存空間或使用該數(shù)據(jù)的過時版本。CCIX擴展了這種通信機制，以便使CPU之外的代理也可以參與進(jìn)來，這使得硬件加速器也能夠獲得同樣的好處。CCIX的一致性協(xié)議也是獨立于供應(yīng)商的，所以，CPU、GPU和其他加速器都可以平等地參與進(jìn)來，而不會遇到麻煩的許可證限制。

為了更好地理解緩存一致性，我們先來看一個一段時間以來很通用的協(xié)議，即MESI。縮寫詞MESI是指系統(tǒng)中的每個緩存行的四種可能的狀態(tài)：Modified（被修改的），Exclusive（獨占的），Shared（共享的）或者Invalid（無效的）?！氨恍薷牡摹币馕吨硞€緩存行僅存儲在當(dāng)前緩存中，并且與主內(nèi)存中的數(shù)據(jù)不同（用緩存的話語來說就是“臟的”（dirty））。如果某個地址被在系統(tǒng)中的某個地方標(biāo)記為“被修改的”，則當(dāng)任何其他代理試圖讀取該地址時，將導(dǎo)致該緩存（其擁有該地址的被修改數(shù)據(jù)）把數(shù)據(jù)寫回主內(nèi)存，然后才能進(jìn)行讀取操作?！蔼氄嫉摹本彺嫘幸矁H存儲在當(dāng)前緩存中，但它與主內(nèi)存中的數(shù)據(jù)相一致（用緩存的話語來說就是“干凈的”（clean））。如果擁有該緩存行的代理對它進(jìn)行修改，則狀態(tài)將切換為“獨占的”。“共享的”緩存行與“獨占的”緩存行一樣也是“干凈的”，但它也可能存在于系統(tǒng)中的其他緩存中（它在那里也將處于“共享的”狀態(tài)）。最后，“無效的”緩存行正是它的名稱一樣 –– 指某個未使用的或不再有效的緩存行。顯然，這種系統(tǒng)中的各種緩存必須彼此交流多條信息。他們必須支持窺探（snoop）或監(jiān)視來自其他代理的總線事務(wù)，以確定其緩存狀態(tài)何時需要更改，并且它們必須擁有某種方法與系統(tǒng)中的其他緩存交流狀態(tài)的變化。

CCIX協(xié)議規(guī)范定義了一組緩存狀態(tài)以及相關(guān)的消息和機制，以便完成這些相同的一般類型的行為。雖然完整的詳細(xì)信息僅提供給CCIX聯(lián)盟會員，但本文將對協(xié)議規(guī)范進(jìn)行高層次的概述。
為什么選擇CCIX實現(xiàn)緩存一致性？

CCIX規(guī)范的最大優(yōu)勢之一是它建立在PCI? Express規(guī)范的基礎(chǔ)之上。CCIX的一致性協(xié)議只需很少修改或者無需修改就可以通過PCI Express鏈路傳遞。如圖1所示，某個現(xiàn)有的PCI Express控制器實施可以通過邏輯進(jìn)行擴展，以實現(xiàn)CCIX事務(wù)層。CCIX事務(wù)層負(fù)責(zé)攜帶一致性消息，而塊 – 即CCIX協(xié)議層和鏈路層 -- 負(fù)責(zé)實現(xiàn)一致性協(xié)議本身并對其執(zhí)行操作。這些塊需要與用于緩存的內(nèi)部片上系統(tǒng)（SoC）邏輯進(jìn)行緊密集成，并且可能是特定于該SoC上使用的具體架構(gòu)。在其今后設(shè)計中實現(xiàn)CCIX的SoC設(shè)計人員通常希望將CCIX協(xié)議及鏈路層與CCIX事務(wù)層分開，以使前者能夠與內(nèi)部SoC邏輯緊密集成。

?

圖1：CCIX規(guī)范利用PCI Express協(xié)議實現(xiàn)CCIX事務(wù)層

超越16GT/s

如前所述，CCIX的最大的吸引力之一就是它與PCI Express的兼容性。實際上，CCIX的緩存一致性協(xié)議可以通過運行8GT/s或更快速度的任何PCI Express鏈路來傳遞。PCI Express 4.0規(guī)定的最高數(shù)據(jù)速率為16GT/s，這在一條16通道鏈路上可以達(dá)到總雙向帶寬約64GB/s，但CCIX聯(lián)盟的一些成員需要更大的帶寬。他們認(rèn)為，通過將傳輸速率提高到25GT/s，一條CCIX鏈路可以在相同的條件下達(dá)到100GB/s。這導(dǎo)致出現(xiàn)了一項稱為“擴展速度模式”（ESM）的CCIX特性。由于PCI Express由一個不同的標(biāo)準(zhǔn)化機構(gòu)所擁有，所以CCIX聯(lián)盟選擇了一個聰明的機制用于在具有ESM功能的組件與PCI Express組件之間實現(xiàn)兼容性。希望彼此進(jìn)行通信的兩個CCIX組件可以通過正常的PCI Express鏈路初始化過程（通常是一個硬件自主過程）進(jìn)行處理，以達(dá)到最高的相互支持的PCI Express速度。自此開始，在主機系統(tǒng)上運行的軟件可以詢問CCIX特定的配置寄存器，并確定兩個組件是否都具備ESM能力。如果具備的話，則確定它們的最高支持速度。該軟件然后在兩個組件上編寫其他CCIX特定的寄存器，以便把PCI Express鏈路速度映射為CCIX ESM鏈路速度。自此以后，鏈路協(xié)商將針對CCIX ESM速度，因此，通過強制進(jìn)行鏈路重新訓(xùn)練，這兩個組件現(xiàn)在可以以高達(dá)25GT/s的速度進(jìn)行通信。

小結(jié)

如果設(shè)計人員打算尋找一種緩存一致性互連途徑，以便從當(dāng)今主流的PCI Express接口獲得相對容易的遷移路徑，他們應(yīng)考慮把CCIX用于他們的下一個高性能SoC。Synopsys公司完整的CCIX IP解決方案建立在通過了硅驗證的、面向PCI Express 4.0的DesignWare?IP基礎(chǔ)之上，后者在超過1500個設(shè)計中得到了驗證，并且已經(jīng)交付了數(shù)十億套。該解決方案支持緩存一致性而且速度可以高達(dá)25 Gbps。作為CCIX聯(lián)盟和PCI-SIG的積極成員，Synopsys公司將繼續(xù)在CCIX、PCI Express和相關(guān)技術(shù)領(lǐng)域進(jìn)行創(chuàng)新，以確保這些生態(tài)系統(tǒng)能夠滿足數(shù)據(jù)密集型云計算應(yīng)用的高性能連接要求。