FPGA編程時(shí)的一些實(shí)際問(wèn)題闡述及解決方案詳解

問(wèn)題:

隨著NI的FPGA產(chǎn)品的廣泛使用，很多同事和客戶(hù)都碰到了一些FPGA編程時(shí)遇到的問(wèn)題。由于FPGA不能實(shí)時(shí)調(diào)試，每次修改一點(diǎn)代碼之后都要編譯很長(zhǎng)時(shí)間之后才能看到修改的效果，所以，我們希望盡量在FPGA編寫(xiě)代碼時(shí)就將更多的問(wèn)題考慮到位。本文針對(duì)項(xiàng)目過(guò)程中碰到的一些實(shí)際問(wèn)題進(jìn)行闡述，希望可以為大家在FPGA編程過(guò)程中提供一些幫助。

項(xiàng)目描述：該項(xiàng)目是一個(gè)實(shí)時(shí)頻譜監(jiān)測(cè)、流盤(pán)以及跳頻信號(hào)檢測(cè)的需求。具體參數(shù)是IQ速率為100MHz，流盤(pán)5分鐘（要做類(lèi)似Reference Trigger的效果，即按下按鈕之前的一分鐘和按下按鈕之后的四分鐘信號(hào)一起流盤(pán)），檢測(cè)跳頻信號(hào)的時(shí)間點(diǎn)和相應(yīng)的頻點(diǎn)，其中跳頻信號(hào)的參數(shù)是：突發(fā)性，每次持續(xù)1ms~20ms，跳頻信號(hào)在每個(gè)頻點(diǎn)上的持續(xù)時(shí)間是1us~20us，跳頻頻率70000/s，每個(gè)頻點(diǎn)上的信號(hào)帶寬是5MHz；使用的硬件是5792+7966.其中與FPGA相關(guān)的部分就是數(shù)據(jù)采集和跳頻信號(hào)的檢測(cè)。對(duì)于數(shù)據(jù)采集部分，5792有專(zhuān)門(mén)的采集范例可以供大家參考，而跳頻信號(hào)的檢測(cè)算法是將數(shù)據(jù)每隔128個(gè)點(diǎn)做一次FFT（100M的采樣率，對(duì)于1us的跳頻信號(hào)持續(xù)時(shí)間，對(duì)應(yīng)為100個(gè)時(shí)域采樣點(diǎn)）。做出的FFT結(jié)果如果超過(guò)閾值，則將FFT結(jié)果的序號(hào)回傳給上位機(jī)進(jìn)行保存。

解答:

一、DMA傳輸?shù)乃俾?/h2>

對(duì)于PXIe-7966R，官網(wǎng)上標(biāo)定的DMA的傳輸速率為800MB/s，理論上可以完全滿(mǎn)足項(xiàng)目中的400MB/s的傳輸速率要求。但實(shí)際測(cè)試過(guò)程中，傳輸?shù)乃俾式咏偸沁_(dá)不到400MB，這直接影響了信號(hào)的實(shí)時(shí)采集和流盤(pán)。經(jīng)了解，F(xiàn)PGA的DMA BenchMark與FIFO的數(shù)據(jù)位寬、總線(xiàn)帶寬以及DMA控制器的速率都有一定關(guān)系。見(jiàn)下圖：

注：上圖中PXIe系統(tǒng)下，F(xiàn)PGA的時(shí)鐘使用的是200MHz的時(shí)鐘。而PXI系統(tǒng)下，F(xiàn)PGA的時(shí)鐘使用的是160M (U8 和U16)，133M（U32和U64）。

注：上圖中使用的機(jī)箱是PXIe-1075，使用的控制器是PXIe-8130.

通過(guò)觀(guān)察上述PXIe和PXI板卡的速率統(tǒng)計(jì)，可以看到：

對(duì)于PXI板卡，在 U8場(chǎng)景下，F(xiàn)PGA每秒鐘產(chǎn)生160MB的數(shù)據(jù)，U16場(chǎng)景下FPGA每秒產(chǎn)生320MB的數(shù)據(jù)。眾所周知，PCI總線(xiàn)的傳輸帶寬為133MB/s，那為什么上圖中U8情況下的速率才33MB/s，U16情況下的速率才66MB/s呢？這是因?yàn)镻CI總線(xiàn)的傳輸模式是并行傳輸，總線(xiàn)位寬和時(shí)鐘頻譜分別是32位和33M（一般的desktop都是這樣的配置），也就是說(shuō)每個(gè)時(shí)鐘周期傳輸32個(gè)比特的數(shù)據(jù)。因此，如果傳輸?shù)氖荱8或者U16的數(shù)據(jù)類(lèi)型，那么相當(dāng)于每個(gè)傳輸周期浪費(fèi)了3/4或者1/2的位寬。因此，U8情況下每次只能傳輸一個(gè)字節(jié)，結(jié)合33MHz的時(shí)鐘頻率，使得DMA 的Benchmark只有33MB/s。U16的情況下的DMA速率為66M也是可以理解的。而U32以及U64的情況下，只能達(dá)到133M的極限速率。
對(duì)于PXIe板卡，F(xiàn)PGA讀寫(xiě) FIFO的時(shí)鐘固定為200MHz，因此，如果FIFO的數(shù)據(jù)類(lèi)型是U8，那么每秒鐘FPGA端就產(chǎn)生200MB的數(shù)據(jù)；如果FIFO的數(shù)據(jù)類(lèi)型是U16，那么每秒鐘FPGA端就產(chǎn)生400MB的數(shù)據(jù)量。這些數(shù)據(jù)量遠(yuǎn)小于1075機(jī)箱的單槽帶寬（PCIe Gen 1 ×4，1GB/s），因此，總的DMA Benchmark 就等于FPGA端產(chǎn)生數(shù)據(jù)的速率。如果FIFO的數(shù)據(jù)類(lèi)型為U32，那么FPGA產(chǎn)生數(shù)據(jù)的速率就達(dá)到了800MB，這幾乎1075機(jī)箱的單槽傳輸極限，因此U32場(chǎng)景下DMA的BenchMark接近800MB/s。繼續(xù)增加FPGA端FIFO的位寬，在200MHz的時(shí)鐘頻率下FPGA每秒鐘產(chǎn)生1.6GB的數(shù)據(jù)，但這時(shí)PCIe總線(xiàn)的傳輸速率不可能再大幅提升，因此，U64情況下DMA的Benchmark 還是在800MB左右，所以我們很容易得出DMA的傳輸速率限制為總線(xiàn)的單槽傳輸帶寬。

實(shí)測(cè)1085+8135環(huán)境下的DMA速率
為了驗(yàn)證此種情況（U64,200M時(shí)鐘）下DMA的傳輸速率限制確實(shí)為總線(xiàn)的單槽傳輸帶寬，我們有理由假設(shè)，如果使用1085機(jī)箱（單槽傳輸速率為4GB/s），DMA的傳輸速率應(yīng)該可以達(dá)到1.6GB/s。因此，我又搭建了相關(guān)的系統(tǒng)對(duì)1085機(jī)箱下的7966 DMA速率進(jìn)行測(cè)試：

硬件環(huán)境：PXIe-8135+PXIe-1085+PXIe-7966

測(cè)試方法：在7966中以200M的時(shí)鐘不斷將U64數(shù)據(jù)寫(xiě)入到FIFO中，F(xiàn)IFO大小2048；上位機(jī)中對(duì)FIFO進(jìn)行全速讀?。ň彌_區(qū)中有多少點(diǎn)讀多少點(diǎn)），上位機(jī)緩沖區(qū)設(shè)置為200M；

測(cè)試結(jié)果：DMA速率900MB/s左右.修改上位機(jī)中FIFO的緩沖區(qū)大小，DMA速率沒(méi)有出現(xiàn)大的波動(dòng)，依然在900MB/s。觀(guān)察CPU占用率在18~20%，每次循環(huán)查看緩沖區(qū)中的點(diǎn)數(shù)10000點(diǎn)不到，說(shuō)明上位機(jī)的讀取速率完全不是瓶頸。