PCI Express交換機實測系統(tǒng)數據傳輸性能

Kwok Kong在IDT白皮書中描述了使用基于標準的PCI Express（PCIe）多端口交換機作為系統(tǒng)互連的多對等系統(tǒng)。自該白皮書發(fā)布以來，IDT設計并實現(xiàn)了一個多對等系統(tǒng)，該系統(tǒng)使用基于x86的系統(tǒng)作為根處理器（RP）和端點處理器（EP），通過IDT的PES16NT8非透明網橋（NTB）端口和IDT的PES64H16設備用作系統(tǒng)互連的多端口PCIe交換機。有關軟件體系結構的詳細說明，請參見應用筆記AN-571。本文介紹了這種系統(tǒng)的實測系統(tǒng)數據傳輸性能。

系統(tǒng)描述

多對等系統(tǒng)拓撲如圖1所示。一個x4 PCIe接口用于將每個根處理器和端點處理器連接到PES64H16系統(tǒng)互連PCIe交換機。這是用于衡量系統(tǒng)數據傳輸性能的拓撲。

PES16NT2用于提供NTB功能，以便將基于x86的端點處理器連接到PES64H16 PCIe交換機的下游端口。系統(tǒng)互連軟件提供了基于PCIe接口的虛擬以太網。Linux操作系統(tǒng)（OS）檢測網絡接口并“看到”以太網接口。Linux OS將以太網數據包發(fā)送到PCIe接口，就好像它是以太網接口一樣。就數據傳輸而言，Linux OS中的PCIe接口是隱藏的。所有當前的網絡協(xié)議堆棧（例如TCP / IP協(xié)議堆棧）以及能夠在TCIP / IP堆棧頂部運行的用戶應用程序都可以正常運行，而無需進行任何修改。

系統(tǒng)互連拓撲

本應用筆記介紹了PCIe SystemInterconnect的系統(tǒng)數據傳輸性能。網絡性能基準測試軟件netperf用于測量性能。將性能與環(huán)回測試和10 GE的性能進行比較。

對于AMD系統(tǒng)，有效數據傳輸速率在1K到16K字節(jié)之間的數據大小為3到3.5 Gbps之間。對于512字節(jié)的數據大小，數據速率約為2.5 Gbps。

對于Bensley系統(tǒng)，對于16K至2K字節(jié)的數據大小，有效的數據傳輸速率約為5 Gbps。對于1K和512字節(jié)的數據大小，有效數據傳輸速率分別約為4 Gbps和3 Gbps。數據傳輸速率與10GE接口相似。Bensley的性能比AMD好得多，因為Bensley支持DMA引擎來傳輸數據。DMA引擎可以更有效地傳輸數據，并使CPU周期從復制數據中釋放出來，以進行更多的數據傳輸處理。

預期對于大量數據傳輸，數據大小可能會很大，例如4K到8K字節(jié)。實際上，可以預期的是，Bensley的PCIe系統(tǒng)互連的有效數據傳輸速率約為5 Gbps，AMD的有效數據傳輸速率約為3.5 Gbps。

通常，協(xié)議封裝開銷會降低有效帶寬。但是，已經表明，對于大數據大小，帶寬的減少約為1-2％。通過減少協(xié)議封裝開銷而增加的帶寬可以忽略不計。但是，在數據傳輸中刪除TCP / IP協(xié)議棧會導致CPU周期顯著減少，并使CPU能夠進行更多的數據傳輸處理。

編輯：hfy