FB-DIMM,全緩沖內(nèi)存模組

FB-DIMM,全緩沖內(nèi)存模組
???
???
FB-DIMM(Fully Buffered-DIMM，全緩沖內(nèi)存模組)是Intel在DDR2、DDR3的基礎(chǔ)上發(fā)展出來的一種新型內(nèi)存模組與互聯(lián)架構(gòu)，既可以搭配現(xiàn)在的DDR2內(nèi)存芯片，也可以搭配未來的DDR3內(nèi)存芯片。FB-DIMM可以極大地提升系統(tǒng)內(nèi)存帶寬并且極大地增加內(nèi)存最大容量。

??? FB-DIMM技術(shù)是Intel為了解決內(nèi)存性能對系統(tǒng)整體性能的制約而發(fā)展出來的，在現(xiàn)有技術(shù)基礎(chǔ)上實現(xiàn)了跨越式的性能提升，同時成本也相對低廉。在整個計算機系統(tǒng)中，內(nèi)存可謂是決定整機性能的關(guān)鍵因素，光有快的CPU，沒有好的內(nèi)存系統(tǒng)與之配合，CPU性能再優(yōu)秀也無從發(fā)揮。這種情況是由計算機原理所決定的，CPU在運算時所需要的數(shù)據(jù)都是從內(nèi)存中獲取，如果內(nèi)存系統(tǒng)無法及時給CPU供應(yīng)數(shù)據(jù)，CPU不得不長時間處在一種等待狀態(tài)，硬件資源閑置，性能自然無從發(fā)揮。對于普通的個人電腦來說，由于是單處理器系統(tǒng)，目前的內(nèi)存帶寬已經(jīng)能滿足其性能需求；而對于多路的服務(wù)器來說，由于是多處理器系統(tǒng)，其對內(nèi)存帶寬和內(nèi)存容量是極度渴求的，傳統(tǒng)的內(nèi)存技術(shù)已經(jīng)無法滿足其需求了。這是因為目前的普通DIMM采用的是一種“短線連接”(Stub-bus)的拓撲結(jié)構(gòu)，這種結(jié)構(gòu)中，每個芯片與內(nèi)存控制器的數(shù)據(jù)總線都有一個短小的線路相連，這樣會造成電阻抗的不繼續(xù)性，從而影響信號的穩(wěn)定與完整，頻率越高或芯片數(shù)據(jù)越多，影響也就越大。雖然Rambus公司所推出的的XDR內(nèi)存等新型內(nèi)存技術(shù)具有極高的性能，但是卻存在著成本太高的問題，從而使其得不到普及。而FB-DIMM技術(shù)的出現(xiàn)就較好的解決了這個問題，既能提供更大的內(nèi)存容量和較理想的內(nèi)存帶寬，也能保持相對低廉的成本。FB-DIMM與XDR相比較，雖然性能不及全新架構(gòu)的XDR，但成本卻比XDR要低廉得多。

??? 與現(xiàn)有的普通DDR2內(nèi)存相比，F(xiàn)B-DIMM技術(shù)具有極大的優(yōu)勢:在內(nèi)存頻率相同的情況下目前能提供四倍于普通內(nèi)存的帶寬，并且能支持的最大內(nèi)存容量也達到了普通內(nèi)存的24倍，系統(tǒng)最大能支持192GB內(nèi)存。FB-DIMM最大的特點就是采用已有的DDR2內(nèi)存芯片(以后還將采用DDR3內(nèi)存芯片)，但它借助內(nèi)存PCB上的一個緩沖芯片AMB(Advanced Memory Buffer，高級內(nèi)存緩沖)將并行數(shù)據(jù)轉(zhuǎn)換為串行數(shù)據(jù)流，并經(jīng)由類似PCI Express的點對點高速串行總線將數(shù)據(jù)傳輸給處理器。

??? 與普通的DIMM模塊技術(shù)相比，F(xiàn)B-DIMM與內(nèi)存控制器之間的數(shù)據(jù)與命令傳輸不再是傳統(tǒng)設(shè)計的并行線路，而采用了類似于PCI-Express的串行接口多路并聯(lián)的設(shè)計，以串行的方式進行數(shù)據(jù)傳輸。在這種新型架構(gòu)中，每個DIMM上的緩沖區(qū)是互相串聯(lián)的，之間是點對點的連接方式，數(shù)據(jù)會在經(jīng)過第一個緩沖區(qū)后傳向下一個緩沖區(qū)，這樣，第一個緩沖區(qū)和內(nèi)存控制器之間的連接阻抗就能始終保持穩(wěn)定，從而有助于容量與頻率的提升。

用于數(shù)據(jù)中轉(zhuǎn)、讀寫控制的緩沖控制芯片AMB并非只是一枚簡單的緩沖芯片，它主要承擔以下三方面的功能：

??? 1)負責管理FB-DIMM的高速串行總線。緩沖芯片與北橋芯片（或者CPU）中的內(nèi)存控制器連接，讓數(shù)據(jù)在內(nèi)存緩沖與控制器之間傳送，承擔數(shù)據(jù)發(fā)送和接收的指派任務(wù)，這包含一組數(shù)據(jù)讀取的14位串行通路和一組用于數(shù)據(jù)寫入的10位通路。
??? 2)實現(xiàn)并行數(shù)據(jù)流與串行數(shù)據(jù)流的翻譯轉(zhuǎn)換工作和讀寫控制。緩沖芯片從內(nèi)存中讀取出來的原始數(shù)據(jù)原本都為并行格式，它們在通過高速串行總線發(fā)送出去之前就必須先轉(zhuǎn)換為對應(yīng)的串行數(shù)據(jù)流，而這個任務(wù)也必須由緩沖芯片來完成，反之，從內(nèi)存控制器傳來的串行數(shù)據(jù)流要轉(zhuǎn)成指定的并行格式，然后才能寫入到內(nèi)存芯片中，緩沖芯片自然也要承擔這個任務(wù)。
??? 3)承擔多個FB-DIMM模組的通訊聯(lián)絡(luò)任務(wù)。如果在一個內(nèi)存通道中存在多條FB-DIMM模組，那么各個FB-DIMM模組間的數(shù)據(jù)都是通過緩沖芯片來傳遞、轉(zhuǎn)發(fā)的。緩沖芯片要始終承擔著數(shù)據(jù)傳輸和讀寫的中介工作，不同的FB-DIMM內(nèi)存儲模組必須通過這枚芯片才能交換信息。

??? 因此，每個內(nèi)存芯片不再直接和內(nèi)存控制器進行數(shù)據(jù)交換。實際上，除了時鐘信號和系統(tǒng)管理總線的訪問，其他的命令與數(shù)據(jù)的I/O都要經(jīng)過位于DIMM上的AMB的中轉(zhuǎn)，從而消除了傳統(tǒng)DIMM模組“短線連接”的弊端。不難看出，緩沖芯片AMB實際上是FB-DIMM的大腦，它承擔所有的控制、傳輸和中轉(zhuǎn)任務(wù)。使用串行總線作為傳輸媒介，F(xiàn)B-DIMM便順理成章?lián)碛锌缭绞降母呓涌趲挕８鶕?jù)1.0版標準定義，F(xiàn)B-DIMM模組的串行總線有3.2GHz、4.0GHz和4.8GHz三種頻率規(guī)格，而每條模組的有效位寬為24bit，所對應(yīng)的接口帶寬便是9.6GBps、12GBps和14.4GBps，遠遠超過了現(xiàn)有的DDR2內(nèi)存。必須注意的是，F(xiàn)B-DIMM的接口帶寬與實際讀寫帶寬其實是兩個概念，前者所指的只是每個模組串行總線的最高帶寬，它在含義上類似SATA接口—SATA的總線帶寬達到150MBps，但這并不是指串行ATA硬盤能達到這個速度，代表的只是帶寬的最高值。同樣，F(xiàn)B-DIMM的接口帶寬同樣如此，模組的實際性能仍取決于內(nèi)存芯片規(guī)格和模組位寬設(shè)計。如果采用DDR2-533芯片、64bit位寬設(shè)計，那么這條FB-DIMM的有效帶寬仍然只有4.2GBps，同現(xiàn)有的DDR2-533內(nèi)存完全一樣。FB-DIMM之所以能擁有高性能，關(guān)鍵在于串行傳輸技術(shù)讓它擺脫了并行總線難以實現(xiàn)多通道設(shè)計的問題，使得在計算機中引入六通道設(shè)計成為可能，借此達到傳統(tǒng)DDR2體系難以想象的超高帶寬，這就是FB-DIMM的真正奧秘所在。不過，引入緩沖設(shè)計也會產(chǎn)生一個新的問題。數(shù)據(jù)在傳輸過程中需要經(jīng)過緩沖和轉(zhuǎn)換，不可避免需要花費額外的延遲時間，對性能產(chǎn)生負面影響。但隨著工作頻率的提升，這個缺陷會變得越來越不明顯。為了保持信號穩(wěn)定，DDR2內(nèi)存的延遲時間將隨著工作頻率的提高而快速增加，而FB-DIMM的延遲時間增幅平緩，所以雖然現(xiàn)在FB-DIMM延遲較高，但當單條模組的帶寬達到4GBps左右時，F(xiàn)B-DIMM與DDR2內(nèi)存延遲時間相當，超過這個臨界點之后，DDR2內(nèi)存的延遲時間將明顯長于FB-DIMM。換句話說，F(xiàn)B-DIMM系統(tǒng)不僅具有更高的數(shù)據(jù)帶寬，而且延遲時間更短、反應(yīng)速度更快。

??? 串行總線設(shè)計是FB-DIMM賴以擁有高效能的基礎(chǔ)。實際上，Intel并沒有另起爐灶從零開始設(shè)計，而是直接沿用了許多來自于PCI Express的成果，其中最關(guān)鍵的就是使用差分信號技術(shù)(Differential Signaling)。 現(xiàn)有各種并行總線都是以一條線路來傳輸一個數(shù)據(jù)信號，高電平表示“1”，低電平表示“0”，或者反過來由低電平表示“1”，高電平表示“0”。單通道結(jié)構(gòu)的64bit內(nèi)存需要使用64條金屬線路來傳輸數(shù)據(jù)，雙通道就需用到128條線路。當數(shù)據(jù)在線路傳輸時，很容易受到電磁環(huán)境的干擾，導(dǎo)致原始數(shù)據(jù)出現(xiàn)異常，如高電平信號電壓變低，或低電平的電壓變高，這些干擾都有可能讓接收方作出錯誤的判斷，導(dǎo)致數(shù)據(jù)傳輸失敗。過去業(yè)界曾為這個難題大傷腦筋，當初硬盤數(shù)據(jù)排線從40針提高到80針細線（增加40根地線）就是為了降低傳輸干擾，但直到串行技術(shù)引入后問題方告解決。與傳統(tǒng)技術(shù)迥然不同，差分信號不再是以單條線路的高低電平作為“0”和“1”的判斷依據(jù)，而是采用兩條線路來表達一個二進制數(shù)據(jù)—數(shù)據(jù)究竟為“0”還是“1”取決于這兩條線路的電壓差。這樣，即使受到嚴重的外來干擾，導(dǎo)致兩條線路傳輸?shù)碾娖叫盘柊l(fā)生較大范圍的電壓波動，但它們之間的電壓差依然可以保持相對穩(wěn)定，接收方便能夠作出正確的判斷。因此，差分信號技術(shù)擁有非常強的抗干擾能力，但因它需要占用兩條線路，很難被引入到并行總線技術(shù)中，只有針對服務(wù)器應(yīng)用的SCSI總線是個例外。

??? FB-DIMM借鑒PCI Express技術(shù)的第二個地方，就是其串行總線也采用了點對點結(jié)構(gòu)。目前，DDR體系的并行總線無法在同一時刻同時發(fā)送和接收數(shù)據(jù)，二者根據(jù)指令輪流進行。然而FB-DIMM卻可以在同一時刻同時發(fā)送和接收數(shù)據(jù)，奧秘在于它擁有兩個串行通路，一個用于數(shù)據(jù)發(fā)送，一個用于數(shù)據(jù)接收。與之對應(yīng)，F(xiàn)B-DIMM的緩存芯片有專用的發(fā)送控制邏輯和接收控制邏輯，數(shù)據(jù)讀出操作和寫入操作可在一個周期內(nèi)同步進行。這實際上將內(nèi)存系統(tǒng)的理論延遲時間縮短了一半，彌補了緩沖處理所造成的損失。較為特殊的是，F(xiàn)B-DIMM的數(shù)據(jù)發(fā)送總線與接收總線是不對等的，發(fā)送總線一共有14個線路對，一次向內(nèi)存控制器發(fā)送14bit數(shù)據(jù)。而接收總線采用10位設(shè)計，每次只能夠接收10bit數(shù)據(jù)。籠統(tǒng)地說，單通道的FB-DIMM模組就是24bit設(shè)計。這種不對等設(shè)計之前沒有先例，但它卻十分符合內(nèi)存系統(tǒng)的客觀實際。在大多數(shù)情況下，CPU從內(nèi)存中讀出的數(shù)據(jù)總是遠遠多于寫入到內(nèi)存的數(shù)據(jù)，與之對應(yīng)，讀取總線帶寬高于寫入總線的設(shè)計方案科學合理，而且十分經(jīng)濟。

??? 按照Intel的FB-DIMM規(guī)范，每個DIMM只需要69pin或70pin，比普通DDR2的240pin要少得多，這有利于實現(xiàn)多通道設(shè)計。例如普通的DDR2系統(tǒng)需要240條線路，而且線路長度必須保持嚴格一致，這導(dǎo)致了設(shè)計難度的加大，而且主板PCB上的空間被密密麻麻、設(shè)計極其復(fù)雜的蛇形線路占據(jù)，沒有任何空余的地方；而采用FB-DIMM的話，即使是六通道設(shè)計，也只需要420條線路，比雙通道的DDR2還要少得多，大大簡化了主板設(shè)計，并且工作更加穩(wěn)定。?

??? 高性能并非FB-DIMM的唯一優(yōu)點，對服務(wù)器系統(tǒng)來說，F(xiàn)B-DIMM另一個關(guān)鍵的優(yōu)點是它可實現(xiàn)超大容量。每個FB-DIMM內(nèi)存通道都可以最多支持8個DIMM(普通DDR2每個內(nèi)存通道只能支持2個DIMM)，一個服務(wù)器系統(tǒng)最多可以實現(xiàn)6個通道，裝載48條FB-DIMM內(nèi)存，而每條FB-DIMM內(nèi)存的最大容量達到4GB，這樣該系統(tǒng)可容納的最高容量就達到了192GB。這么大的容量對于普通服務(wù)器沒有什么意義，但對于高端系統(tǒng)乃至超級計算機，F(xiàn)B-DIMM帶來的容量增益就非常明顯。

??? 要將如此之多的FB-DIMM內(nèi)存插槽放置在主板上肯定是個大麻煩。顯然，若采用現(xiàn)行內(nèi)存槽方案，將導(dǎo)致主板PCB面積難以控制，為此，Intel為FB-DIMM系統(tǒng)定義了全新的連接模式，通過內(nèi)存擴展板來實現(xiàn)多模組的連接。主板上提供6個內(nèi)存擴展槽，每個內(nèi)存擴展槽對應(yīng)一個通道。每個內(nèi)存擴展槽上可直接插入FB-DIMM模組或者是內(nèi)存擴展板，每個內(nèi)存擴展板上又有8個FB-DIMM內(nèi)存插槽，只要你愿意，可以將8條FB-DIMM模組插在擴展板上，然后再將該內(nèi)存擴展板插在主板上，依此類推，完成6通道、48條內(nèi)存的安裝。這種方法充分利用了機箱內(nèi)部空間，巧妙解決了多模組安裝的難題，構(gòu)建高效能系統(tǒng)就顯得更具可操作性。

??? 值得注意的是，F(xiàn)B-DIMM內(nèi)存模組的金手指仍有240個，與普通DDR2內(nèi)存相同，區(qū)別只是缺口的位置不同而已。這種設(shè)計其實也是為兼容現(xiàn)有生產(chǎn)設(shè)備之故，F(xiàn)B-DIMM的有效針腳只有69個或70個，我們可以從FB-DIMM內(nèi)存模組實物圖中看到，只有正面左側(cè)的金手指有連接到緩沖控制芯片的線路，其余位置的金手指并沒有連接線路，只是做做樣子而已。也許很多人會認為，直接設(shè)計為69個或70個金手指會更經(jīng)濟一些，但這樣做就必須對現(xiàn)有的生產(chǎn)設(shè)備作較大的調(diào)整，花費的成本反而更高。

??? 綜上所述，嚴格說來FB-DIMM并不是一種全新的內(nèi)存類型，而只是一種能極大的提升內(nèi)存性能的連接技術(shù)，它并不涉及到內(nèi)存的核心技術(shù)的改變，而是利用了現(xiàn)有的DRAM芯片，只是在系統(tǒng)架構(gòu)與互聯(lián)方式上進行了新的嘗試。FB-DIMM目前所存在的主要問題是，首先，F(xiàn)B-DIMM雖然成本比XDR要低廉得多，但其價格仍然要比普通DDR2內(nèi)存要高得多；其次，F(xiàn)B-DIMM的功耗比較大，這直接導(dǎo)致其發(fā)熱量也比較大，因此所有的FB-DIMM內(nèi)存模組都必須配備散熱片，而且在一個配備大容量FB-DIMM的多路服務(wù)器系統(tǒng)中，F(xiàn)B-DIMM的總功耗也不容小視。FB-DIMM的特點決定了該技術(shù)目前只會應(yīng)用在服務(wù)器/工作站平臺上，而普通的個人電腦則暫時還不會采用。在Intel方面，目前支持FB-DIMM的Intel 5000系列芯片組已經(jīng)發(fā)布，相應(yīng)的主板也已經(jīng)上市，而且各大內(nèi)存生產(chǎn)廠商也都推出了各自的基于DDR2的DDR2 FB-DIMM內(nèi)存模組產(chǎn)品，未來還將推出基于DDR3的DDR3 FB-DIMM內(nèi)存模組產(chǎn)品。而AMD方面，由于Opteron整合了內(nèi)存控制器，要支持FB-DIMM必須得全面重新設(shè)計處理器，故目前暫時還不會支持FB-DIMM，但也將在2008年左右使Opteron全面支持FB-DIMM。