基于FPGA實(shí)現(xiàn)PCI-E接口和DMA控制器設(shè)計(jì)

　　隨著網(wǎng)絡(luò)的飛速發(fā)展，人們可獲取的信息量日益增長(zhǎng)，數(shù)據(jù)的處理及存儲(chǔ)速率的要求也越來(lái)越高。萬(wàn)兆網(wǎng)（10Gb以太網(wǎng)）的普及，高速存儲(chǔ)設(shè)備的應(yīng)用（如DDR2，傳輸速率可達(dá)800M）對(duì)系統(tǒng)帶寬帶來(lái)極大的挑戰(zhàn)。

　　伴隨著FPGA技術(shù)的大規(guī)模的應(yīng)用，越來(lái)越多的大型系統(tǒng)采用PCI Express總線連接FPGA處理板和PC以實(shí)現(xiàn)數(shù)據(jù)的交互。盡管很多FPGA公司推出了基于PCI Express協(xié)議相關(guān)的IP硬核，但是掌握這些硬核的使用需要對(duì)PCI Express 協(xié)議具有一定的了解，而且直接使用硬核，帶寬很小，開發(fā)難度大，移植性差等缺點(diǎn)這些都是造成目前PCI Express接口設(shè)計(jì)的瓶頸。為了降低開發(fā)難度，提高帶寬和移植性，許多現(xiàn)有的方案是在PCI Express硬核中加入高速DMA控制器單元，以此來(lái)達(dá)到設(shè)計(jì)需求。

　　文中介紹了一種基于高速的I/O串行互聯(lián)技術(shù)，PCI-Express（簡(jiǎn)稱PCIe），提出了在系統(tǒng)設(shè)計(jì)中基于FPGA的PCIe總線接口設(shè)計(jì)及應(yīng)用于該總線的高速DMAEngine設(shè)計(jì)方案。

　　PCI Express總線簡(jiǎn)介

　　PCI Express總線技術(shù)是取代PCI的第三代I/O技術(shù)。PCIExpress總線是為計(jì)算機(jī)和通訊平臺(tái)定義的一種高性能、通用I/O互聯(lián)總線。至今已經(jīng)發(fā)布了3個(gè)正式版本：PCI Express 1.0、PCIExpress 2.0、PCI Express 3.0。單向單通道帶寬分別為：250MB/s， 500MB/s， 1GB/s。PCI Express體系結(jié)構(gòu)的設(shè)計(jì)非常先進(jìn)，采用了類似網(wǎng)絡(luò)體系結(jié)構(gòu)中OSI分層體系結(jié)構(gòu)設(shè)計(jì)方案，如圖2.1所示。按照協(xié)議規(guī)范，PCI Express總線的層次結(jié)構(gòu)分為物理層（Physical Layer）、數(shù)據(jù)鏈路層（Data Link Layer）和事物層（Transaction Layer）體系結(jié)構(gòu)。

　　在性能方面，相比PCI總線，PCI Express總線具有以下特點(diǎn)：

　?。?）在數(shù)據(jù)傳輸模式上，PCI Express 采用差分串行傳輸方式，一條PCI Express通道（稱為PCI Express X1）由2對(duì)差分信號(hào)線來(lái)實(shí)現(xiàn)數(shù)據(jù)的發(fā)送和接收。

　?。?）PCI Express具有高速串行通信接口所特有的時(shí)鐘恢復(fù)核心，將時(shí)鐘融合到傳輸?shù)臄?shù)據(jù)中，這樣既減去了時(shí)鐘管腳，又能大大提高傳輸速度，突破了并行傳輸帶寬的瓶頸。

　?。?）PCI Express是采用點(diǎn)到點(diǎn)的互連方法，每個(gè)設(shè)備都由獨(dú)立的鏈路連接，獨(dú)享帶寬，大大提高傳輸效率。

　?。?）具有很好的靈活性，一個(gè)PCI Express物理連接可以根據(jù)實(shí)際需要配置成X1，X2，X4，X8，X16 及X32鏈路模式。因此傳輸?shù)乃俣纫簿拖鄳?yīng)的成倍增長(zhǎng)。

　　（5）PCI Express傳輸?shù)臄?shù)據(jù)以協(xié)議定義的數(shù)據(jù)包（packet）的形式進(jìn)行傳輸，保障了數(shù)據(jù)傳輸?shù)耐暾院涂煽啃浴?/p>

　?。?）PCI Express協(xié)議加入了數(shù)據(jù)重傳機(jī)制，提高了數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

　　正是由于PCI Express的這些技術(shù)特點(diǎn)，使得其越來(lái)越廣泛的應(yīng)用在計(jì)算機(jī)系統(tǒng)架構(gòu)及海量數(shù)據(jù)傳輸接口領(lǐng)域，特別是在加入了高速DMA控制器傳輸方式下，PCI Express帶寬及傳輸效率大大提高，因此在高速系統(tǒng)領(lǐng)域具有廣闊的前景。

　　FPGA系統(tǒng)設(shè)計(jì)方案

　　傳統(tǒng)FPGA設(shè)計(jì)方案

　　傳統(tǒng)FPGA并不具備LVDS信號(hào)驅(qū)動(dòng)能力。一般以PEX8311橋接芯片實(shí)現(xiàn)PCIe物理層接口，再配合CPLD實(shí)現(xiàn)用戶邏輯設(shè)計(jì)。PEX8311提供2個(gè)端口，一個(gè)為兼容PCIExpress1.0標(biāo)準(zhǔn)的PCIe接口，另一個(gè)為L(zhǎng)ocalBus總線接口，用于與CPLD相連。LocalBus總線工作于66MHz時(shí)鐘，32-bit總線寬度，可以提供266MB/s帶寬。同時(shí)，PEX8311還提供了2組DMA通道。使用PEX8311可以方便地從PCI平滑過(guò)渡到PCIe，從而降低開發(fā)成本，因此被廣泛使用。

　　然而，PEX8311并不能有效發(fā)揮出PCIe高帶寬優(yōu)勢(shì)，也缺乏可配置性和靈活性，難以提高系統(tǒng)整體性能。

　　基于PCIe硬核接口設(shè)計(jì)

　　Xilinx新推出Virtex-6系列的FPGA，集成了PCIeIP硬核模塊。該模塊兼容PCIExpress2.0標(biāo)準(zhǔn)分層協(xié)議（為物理層、數(shù)據(jù)鏈路層和事物層，又稱傳輸層），提供了系統(tǒng)接口（SYS）、外部傳輸接口（PCIEXP）、配置接口（CFG）、事物接口（TRN）和物理鏈路接口（PL）。其Virtex-6GTX可配置高速串行傳輸器為PCIe信號(hào)可靠傳輸提供了保障。文中便是針對(duì)該硬核的事物層提出片上系統(tǒng)的PCIe設(shè)計(jì)方案。

　　PCI-Express接口及應(yīng)用層設(shè)計(jì)

　　一個(gè)基本的高速數(shù)據(jù)采集系統(tǒng)，由微處理器（CPU）、FPGA和外部存儲(chǔ)器等組成。CPU與FPGA通過(guò)PCIe總線進(jìn)行數(shù)據(jù)傳輸，F(xiàn)PGA通過(guò)DMA方式對(duì)外部存儲(chǔ)器進(jìn)行數(shù)據(jù)讀寫操作。文中給出基于PCIex1傳輸方式的接口設(shè)計(jì)方案。

　　PCIe接口及事物層設(shè)計(jì)

　　較之使用PEX8311橋接芯片的系統(tǒng)設(shè)計(jì)，采用基于Xilinx的IP核的設(shè)計(jì)方案，用戶可以根據(jù)自己的需求靈活設(shè)計(jì)面向事物層接口電路，并方便加入特殊功能，如與內(nèi)部總線連接、實(shí)現(xiàn)DMA傳輸?shù)?。該設(shè)計(jì)充分利用FPGA集成度高、可配置性強(qiáng)等特點(diǎn)來(lái)發(fā)揮PCIe接口性能。FPGA的PCIe接口設(shè)計(jì)包括XilinxPCIe端點(diǎn)硬核和面向事物層的應(yīng)用邏輯設(shè)計(jì)2個(gè)部分，這里將詳細(xì)給出應(yīng)用層設(shè)計(jì)，如圖1所示。

　　XilinxPCIe硬核支持64-bit數(shù)據(jù)通路，分別用于發(fā)送和接收數(shù)據(jù)。該硬核提供6個(gè)32-bit基地址寄存器BAR0~BAR5（BassAddressRegister，簡(jiǎn)稱BAR），可以根據(jù)用戶設(shè)計(jì)需求進(jìn)行配置。在本設(shè)計(jì)中使用BAR0和BAR1組成一組64-bit地址空間，用于存儲(chǔ)外部CPU訪問(wèn)FPGA內(nèi)部寄存器地址。使用BAR2和BAR3組成另一組64-bit地址空間，用于存儲(chǔ)DMAEngine控制器和緩存器地址。通過(guò)判斷trn_rbar_hit_n［6:0］來(lái)區(qū)分BAR0和BAR2，其主要代碼如下：

　　? ?

　　‘TRN _RX_M EM _RD64_DW 1DW 2： begin

　　? ?

　　req_bar0_o 《 = ～trn_rbar_hit_n_q ［ 0 ］ ; req_bar2_o 《 = ～trn_rbar_hit_n_q ［ 2 ］ ;

　　? ?

　　end

　　以外部CPU讀FPGA內(nèi)部寄存器為例，F(xiàn)PGA將收到的PCIe總線上數(shù)據(jù)幀經(jīng)由硬核的事物層，以64-bit帶寬送出，應(yīng)用層通過(guò)TRN_RX接收狀態(tài)機(jī)來(lái)判斷請(qǐng)求訪問(wèn)的地址空間，然后將請(qǐng)求數(shù)據(jù)緩寫入一個(gè)雙端口的req_fifo;用戶邏輯通過(guò)讀取req_fifo，將有效的寄存器數(shù)據(jù)寫入另一個(gè)雙端口data_fifo中，最后通過(guò)TRN_TX發(fā)送狀態(tài)機(jī)發(fā)送給硬核事物層。