PCIe配置優(yōu)化：提升系統(tǒng)性能的關鍵步驟

理解PCIe配置對性能的影響

PCIe用途

當PCIe 應用于網(wǎng)卡和主機間通信時，網(wǎng)絡適配器需要與 CPU 和內(nèi)存（以及其他模塊）進行通信。這意味著為了處理網(wǎng)絡流量，應該對通過 PCIe 進行通信的不同設備進行良好配置。將網(wǎng)絡適配器連接到 PCIe 時，它會自動協(xié)商網(wǎng)絡適配器和 CPU 之間支持的最大功能。

PCIe 屬性

任何 PCI 設備都加載了某些屬性。其中一些屬性對性能至關重要。設備的 PCIe 屬性是通過系統(tǒng)和設備能力之間的協(xié)商來設置的。這導致兩者都可以支持被選擇的最高值。下面，您可以找到相關 PCIe 屬性的說明、如何驗證它們以及它們對性能的影響。

PCIe 寬度

PCIe 寬度決定了設備可并行用于通信的 PCIe 通道數(shù)。寬度標記為 xA，其中 A 是通道數(shù)（例如，x8 表示 8 通道）。具體支持多少通道取決于廠商的設備和它們的型號。為了驗證 PCIe 寬度，可以使用命令 lspci。

在本例中，我們在 PCI 04.00.0 地址上安裝了 Mellanox 適配器。

# lspci -s 04:00.0 -vvv | grep Width
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 unlimited
LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-

如您所見，PCIe 報告了已通信的設備功能（在 LnkCap 下），以及它們的當前狀態(tài)（在 LnkSta 下），這是實際的 PCIe 設備屬性。

PCIe 速度

確定可能的 PCIe 事務數(shù)。速度以 GT/s 為單位，代表“每秒十億次交易”。與 PCIe 寬度一起確定了最大 PCIe 帶寬（速度 * 寬度）。為了驗證 PCIe 速度，可以使用命令 lspci。

# lspci -s 04:00.0 -vvv | grep Speed
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported, Exit Latency L0s unlimited, L1 unlimited
LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt

與寬度參數(shù)類似，設備能力和狀態(tài)都會被報告。

PCIe 速度被標識為“代”，其中 2.5GT/s 稱為“gen1”，5GT/s 稱為“gen2”，8GT/s 稱為“gen3”，16GT/s 稱為“gen4”.

注意：除了支持的速度之外，各代之間的主要區(qū)別在于數(shù)據(jù)包的編碼開銷。對于第 1 代和第 2 代，在 PCIe 上發(fā)送的每個數(shù)據(jù)包都有 20% 的 PCIe 標頭開銷。這在第 3 代中得到了改進，其中開銷減少到 1.5% (2/130)。有關更多詳細信息，請參閱下面的實際 PCIe 帶寬計算。

PCIe Max Payload Size

PCIe Max Payload Size 確定 PCIe 數(shù)據(jù)包或 PCIe MTU 的最大大?。愃朴诰W(wǎng)絡協(xié)議）。這意味著較大的 PCIe 事務被分解為 PCIe MTU 大小的數(shù)據(jù)包。此參數(shù)僅由系統(tǒng)設置，取決于芯片組架構（例如 x86_64、Power8、ARM 等）。您可以使用命令 lspci（在 DevCtl 下指定）查看 PCIe Max Payload Size。

lspci -s 04:00.0 -vvv | grep DevCtl: -C 2
DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
DevCtl: Report errors: Correctable- Non-Fatal+ Fatal+ Unsupported-
RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+ FLReset-
MaxPayload 256 bytes, MaxReadReq 4096 bytes

PCIe Max Read Request

PCIe Max Read Request 確定允許的最大 PCIe 讀取請求。由于必須為傳入響應準備緩沖區(qū)，PCIe 設備通常會跟蹤待處理的讀取請求的數(shù)量。PCIe 最大讀取請求的大小可能會影響待處理請求的數(shù)量（當使用大于 PCIe MTU 的數(shù)據(jù)獲取時）。同樣，使用命令 lspci 來查詢 Max Read Request 值。

# lspci -s 04:00.0 -vvv | grep MaxReadReq
MaxPayload 256 bytes, MaxReadReq 4096 bytes

與此處討論的其他參數(shù)相反，可以在運行時使用命令 setpci 更改 PCIe Max Read Request：首先，查詢該值以避免覆蓋其他屬性：

# setpci -s 04:00.0 68.w
5936

第一個數(shù)字是 PCIe Max Read Request。設置選Max Read Request：

# setpci -s 04:00.0 68.w=2936

該值應使用命令 lspci 更新：

# lspci -s 04:00.0 -vvv | grep MaxReadReq
MaxPayload 256 bytes, MaxReadReq 512 bytes

可接受的值為：0 -128B、1 - 256B、2 - 512B、3 - 1024B、4 - 2048B 和 5 - 4096B。

計算 PCIe 帶寬限制

如前所述，PCIe 功能可能會影響網(wǎng)絡適配器的性能。最好了解 PCIe 引入的帶寬限制。下面是理論計算和幾個例子。

最大可能的 PCIe 帶寬是通過乘以 PCIe 寬度和速度來計算的。從這個數(shù)字中，我們減少了大約 1Gb/s 的糾錯協(xié)議和 PCIe 標頭開銷。開銷由 PCIe 編碼（有關詳細信息，請參閱 PCIe 速度）和 PCIe MTU 確定：

最大 PCIe 帶寬 = 速度 * 寬度 * (1 - 編碼) - 1Gb/s。

例如，具有 x8 寬度的第 3 代 PCIe 設備將被限制為：
最大 PCIe 帶寬 = 8G * 8 * (1 - 2/130) - 1G = 64G * 0.985 - 1G = ~62Gb/s。

另一個示例 - 具有 x16 寬度的第 2 代 PCIe 設備將被限制為：
最大 PCIe 帶寬 = 5G * 16 * (1 - 1/5) - 1G = 80G * 0.8 - 1G = ~63Gb/s。

注意：PCIe 事務包括網(wǎng)絡數(shù)據(jù)包有效負載和標頭，因此在計算網(wǎng)絡流量的 PCIe 限制時需要考慮它們。

PCIe Max Read Request 和 Max Payload Size 可能會由于 PCIe 整體增加和相同負載的待處理事務而導致事務速率限制。

審核編輯：黃飛