Xilinx PCIe XDMA使用指南

1. 為什么使用PCIe傳輸

在FPGA需要和處理器打交道時，無論是X86，還是PowerPC，以及一些嵌入式的ARM等，對外的接口常見如下表。

其中，USB需要外部的PHY對接FPGA，而且需要firmware；以太網(wǎng)走到TCP才會保證不丟數(shù)據(jù)；PCI逐漸淘汰了，占用引腳多，而且?guī)捰邢蓿?a target="_blank">SATA側重存儲，其協(xié)議的局限性比較高；RapidIO在一些場合使用，結構可以做到Full Mesh結構，但是這些年發(fā)展速度比較慢。

而PCIe具備如下優(yōu)點：
A. 帶寬高，目前FPGA有PCIe Gen3 x16，或者PCIe Gen4 x8，鏈路速度可以達到128Gbps;

B. FPGA直連，不需要外部PHY;
C. 協(xié)議保證數(shù)據(jù)無誤傳輸，兩級CRC，重傳機制，保證數(shù)據(jù)無誤;
D. 軟件生態(tài)豐富，各種系統(tǒng)原生支持，通過簡單的驅動就可以完成數(shù)據(jù)交互;
E. 在PCIe之上的協(xié)議逐漸增多，例如NVMe是基于PCIe的上層協(xié)議;

Xilinx從15年前，V4系列開始，一直在PCIe的解決方案上深耕，提供眾多的應用方案級的解決方案，方便用戶專注于自己的應用。早期，Xilinx提供的有Application Notes，例如XAPP859，XAPP1052等，構建了基本的雙向數(shù)據(jù)傳輸。當時一些第三方公司，類似于PLDA，NwLogic也出針對Xilinx FPGA的PCIe傳輸方案。

后來，Xilinx團隊2017年附近推出XDMA解決方案，并持續(xù)增加功能、修正Bug，到目前為止，XDMA已經(jīng)成為一個功能強大、成熟穩(wěn)定的Xilinx FPGA解決方案。功能上涵蓋了SG功能，AXI-Lite功能，多通道分離，AXI-MM和AXI-Stream支持等。穩(wěn)定性上，經(jīng)過4年的逐步完善，目前已經(jīng)有眾多的客戶基于這套方案實現(xiàn)產(chǎn)品，涵蓋醫(yī)療、電力、通訊、數(shù)據(jù)中心等各種應用。
最重要的是，XDMA是免費的?。?！

2. XDMA IP配置實例

Xilinx XDMA支持的系列包括7系列，UltraScale系列，UltraScale+系列各種系列，界面配置基本相同。這里以KU040的一個板子做例程，其他系列可以參考。Vivado使用2018.3，Vivado的版本，做XDMA，建議盡量使用新一些的版本。詳細的說明，參考Xilinx的文檔PG195，下面主要摘取影響使用的關鍵部分。

配置IP

第一頁，IP基本配置。

紅色框根據(jù)實際板卡硬件來選擇，Lane Width是物理的位寬；Link Speed是希望運行在那個速率。速率和位寬越高，最終的帶寬就越高，對應FPGA內(nèi)的資源和頻率也相對多一些。

綠色框是選擇接口方式，AXI Memory Mapped選擇用戶接口是AXI內(nèi)存映射的接口，常見用于對接DDR、RAM等有地址尋址的外設。AXI Stream的用戶接口是流接口，類似于一段數(shù)據(jù)包，F(xiàn)IFO流等。IP只能支持其中一種選擇，不能說多通道混合使用不同的用戶接口，所以用戶需要分析自己的數(shù)據(jù)接入方式，慎重選擇。

常見的，例如ADC采集，如果帶DDR，則可以把ADC暫存在DDR中，XDMA使用AXI-MM的方式讀取DDR數(shù)據(jù)；也可以ADC通過FIFO緩存后，XDMA使用AXI-Stream讀取FIFO，不過需要注意ADC速度非常高的時候容易溢出。

例如，讀取外部網(wǎng)絡報文，報文長短不一，使用AXI-Stream接口方式比較合適。

第二頁，VID，DID，Class等選擇。

如果沒有特殊的需要，這一頁可以不變。尤其是Vendor ID，Device ID，盡量不修改，因為Xilinx提供的驅動是對應這些VID，DID的。

第三頁，PCIe BAR空間。

紅色框，PCIe to AXI Lite Master Interface可以選擇上。通常，這個接口可以用作寄存器接口。上位機需要控制板卡內(nèi)的用戶寄存器，可以通過這個接口擴展。
通常來說，寄存器接口盡量對齊，比如常用32bit寄存器。

第四頁，雜項

需要關注的是用戶中斷數(shù)量，是從用戶層通知CPU的中斷。注意，XDMA本身的操作中斷不算在內(nèi)，這里是用戶產(chǎn)生的中斷。

第五頁，DMA通道選擇

需要關注的是紅色框，讀寫通道數(shù)量選擇，根據(jù)實際的業(yè)務來選擇。例如有4路ADC數(shù)據(jù)傳輸，可以選擇C2H為4，當然，也可以4路ADC數(shù)據(jù)在FPGA內(nèi)合并后成1路，然后只選擇C2H為1 。

生成example design例程

上一步IP配置后，在生成的IP上，右鍵點擊，選擇打開open example design。

生成的例程，如果選擇是AXI-MM的用戶接口，那么這個接口對接的是AXI接口形式的Block RAM，上位機可以讀/寫這片RAM。如果選擇的是AXI-Stream接口，例程中將Stream讀寫環(huán)回，上位機寫下去的內(nèi)容再讀回去。

此外，第三頁BAR空間如果勾選了PCIeto AXI Lite Master Interface，例程中會額外多出來一個AXI接口的Block RAM。如果需要，可以將這塊修改為寄存器接口。

修改約束引腳后，生成bit文件，下載到FPGA中，并重啟電腦，注意這里說的是重啟電腦，不是關機再開機。電腦重啟的開始，BIOS會重新掃描PCIe設備，才能被CPU枚舉。

3. Block Design下快速構建XDMA Subsystem

上面的例程，例化一個IP，然后打開example design的方式。實際使用，可以用block design快速構建XDMA的設計。

下面舉例，快速構建一個XDMA到DDR4傳輸?shù)脑O計。

1. 新建block design，加入XDMA IP和DDR4 MIG IP。XDMA配置參考上面描述的內(nèi)容，DDR4根據(jù)板卡實際的選擇配置。

2. 連接關系很簡單，XDMA的M_AXI接口通過AXI_Interconnect連接DDR4，這里AXI_Interconnect起到時鐘域轉換的作用。

3. 地址分配，將DDR4的空間分配到XDMA中即可。

4. 生成block design的wrapper，修改正確的引腳約束后，生成bit文件。下載到FPGA后重啟電腦。

Block Design的方式，適用于快速構建比較復雜的設計，例如包含DDR4，Datamover等各種基于AXI互聯(lián)的IP。

4. 驅動和軟件應用

通過pci utility查看設備

pci utility工具，用于查看PCIe設備各種屬性的工具。Linux系統(tǒng)默認自帶了pci utility工具，windows下也有對應版本，在GitHub上搜索。

lspci命令，列舉所有pci和pcie設備：

紅色框，即上面配置的XDMA example design。
lspci -vv -s 02:00.0 命令，詳細列出位于02:00.0槽位的Xilinx設備詳細信息。

這里把一些信息列舉下來：

A. Region 0，這個是上面PCIe to AXI Lite Master Interface選擇的空間。Region 1，這個是XDMA IP自身內(nèi)部寄存器空間，不用關心。
B. MaxPayload size是256字節(jié)，是系統(tǒng)協(xié)商的，不能修改。MaxReadReq是最大請求字節(jié)，協(xié)商后是512字節(jié)。
C. LnkCap字段，是協(xié)商后的PCIe鏈路狀態(tài)，上面寫的速度是8G，位寬是x4。PCIe IP上選擇的是8G，這個目前協(xié)商到了。位寬選擇x8，實際是x4，因為這個機箱用的一個x4PCIe延長線，限制了適配到x8位寬。
D. LnkCtl2，顯示設備最大能支持到8G的鏈路速度。

5. 驅動安裝，Linux環(huán)境

Linux的驅動在GitHub上，https://github.com/Xilinx/dma_ip_drivers，下載到宿主機。
readme.txt中有驅動使用說明，目錄結構、安裝使用等。tests目錄下有安裝腳本，測試腳本等。

5.1. 驅動安裝

tests目錄下，sh load_driver.sh即安裝驅動，安裝成功會提示。

安裝完畢，查看/dev目錄下，多出來一些xdma0開頭的設備。

文件目錄分別說明下
A. _c2h_x，是card to host的設備，板卡向CPU傳輸數(shù)據(jù)的時候使用這個設備；
B. _h2c_x，是host to card的設備，CPU向板卡發(fā)送數(shù)據(jù)的時候使用這個設備;
C. _control，是XDMA的內(nèi)部寄存器控制設備，一般用戶不需要使用;
D. _user，是PCIe to AXI Lite Master Interface選擇的空間;
E. _event_x，是IP配置第四頁，選擇的用戶層中斷對應的設備;

5.2 軟件測試，Linux環(huán)境

如果IP配置選擇AXI-Memory Map，參考dma_memory_mapped_test.sh，這個腳本寫入一段數(shù)據(jù)到BlockRAM中，然后讀出對比。
如果IP配置選擇AXI-Stream接口，參考dma_streaming_test.sh，腳本寫入一段數(shù)據(jù)，回環(huán)后讀回校驗。
上述兩個例子，用下面的命令測試。
sh dma_memory_mapped_test.sh 1024 1 1 1

Block Design下，DDR4顯示已經(jīng)校準完畢。使用dma_memory_mapped_test.sh測試，數(shù)據(jù)寫入DDR4，然后再從DDR4讀回。

FAQ

1. Windows下安裝驅動，安裝后驅動有一個感嘆號，不能正常使用。

Windows從Win764bit開始，安裝驅動必須的簽名，Win7的簽名和Win10的簽名還不同。Xilinx提供的Windows驅動不包括驅動簽名，安裝的時候就出現(xiàn)感嘆號。

這個問題可以百度下，開機的時候選擇禁止驅動簽名?；蛘哔徺I微軟的簽名即可。
例如下圖，是一個公司購買了簽名，簽名這個驅動后的狀態(tài)，可以直接安裝好驅動。

2. Linux下，Stream模式接收溢出。

IP設置為Stream模式，默認Linux上有循環(huán)Buffer來處理接收的數(shù)據(jù)。如果Stream接收的速率太高，超過驅動和應用能處理的范圍，就會出現(xiàn)溢出的問題。出現(xiàn)溢出后，驅動里做了錯誤恢復，一段數(shù)據(jù)就丟掉了。


審核編輯：劉清