使用 PCIe 交換矩陣優(yōu)化多主機(jī)系統(tǒng)中的資源部署

數(shù)據(jù)中心和其他高性能計(jì)算環(huán)境越來(lái)越多地使用 GPU，因?yàn)樗鼈兡軌蚩焖偬幚?a href="http://ttokpm.com/v/tag/448/" target="_blank">深度學(xué)習(xí)和機(jī)器學(xué)習(xí)應(yīng)用程序中生成的大量數(shù)據(jù)。然而，就像許多提高應(yīng)用程序性能的新數(shù)據(jù)中心創(chuàng)新一樣，新的系統(tǒng)瓶頸也暴露出來(lái)了。在這些應(yīng)用程序中提高系統(tǒng)性能的新興架構(gòu)涉及通過 PCIe 結(jié)構(gòu)在多個(gè)主機(jī)之間共享系統(tǒng)資源。

PCIe 標(biāo)準(zhǔn)，尤其是其傳統(tǒng)的基于樹的層次結(jié)構(gòu)，限制了資源共享的實(shí)現(xiàn)方式（以及效果如何）。盡管如此，可以實(shí)施低延遲、高速結(jié)構(gòu)方法，允許在多個(gè)主機(jī)之間共享 GPU 和 NVMe SSD 池，同時(shí)仍支持標(biāo)準(zhǔn)系統(tǒng)驅(qū)動(dòng)程序。

PCIe 結(jié)構(gòu)方法采用動(dòng)態(tài)分區(qū)和多主機(jī)、單根 I/O 虛擬化 (SR-IOV) 共享。PCIe 結(jié)構(gòu)直接跨結(jié)構(gòu)路由對(duì)等傳輸。這允許對(duì)等傳輸?shù)淖罴崖酚桑瑴p少根端口擁塞并允許更有效的 CPU 資源負(fù)載平衡。

按照慣例，GPU 傳輸必須訪問 CPU 的系統(tǒng)內(nèi)存，這會(huì)導(dǎo)致端點(diǎn)之間的內(nèi)存共享爭(zhēng)用。當(dāng) GPU 使用其共享的內(nèi)存映射資源而不是 CPU 內(nèi)存時(shí)，它可以在本地?cái)z取數(shù)據(jù)，從而無(wú)需首先通過 CPU 傳遞數(shù)據(jù)。這消除了躍點(diǎn)和鏈接以及由此產(chǎn)生的延遲，使 GPU 能夠更有效地處理數(shù)據(jù)。

PCIe 的固有限制
PCIe 主要層次結(jié)構(gòu)是一種樹形結(jié)構(gòu)，其中每個(gè)域有一個(gè)根復(fù)合體，從該點(diǎn)擴(kuò)展為通過交換機(jī)和橋接端點(diǎn)的“葉子”。鏈路的嚴(yán)格層次結(jié)構(gòu)和方向性對(duì)多主機(jī)、多交換機(jī)系統(tǒng)提出了昂貴的設(shè)計(jì)要求。

圖 1：多主機(jī)拓?fù)?/p>

考慮圖 1所示的系統(tǒng)。為了符合 PCIe 的層次結(jié)構(gòu)，主機(jī) 1 必須在交換機(jī) 1 中有一個(gè)專用的下行端口，該端口連接到交換機(jī) 2 中的一個(gè)專用上行端口。它還需要交換機(jī) 2 中的一個(gè)專用下行端口連接到交換機(jī) 3 中的一個(gè)專用上行端口，等等。主機(jī) 2 和 3 也存在類似的要求，如圖 2 所示。

圖 2：每個(gè)主機(jī)的層次結(jié)構(gòu)要求

即使是最基本的基于 PCIe 樹結(jié)構(gòu)的系統(tǒng)也需要每個(gè)交換機(jī)之間的三個(gè)鏈路專用于每個(gè)主機(jī)的 PCIe 拓?fù)洹６矣捎跓o(wú)法在主機(jī)之間共享這些鏈接，系統(tǒng)很快就會(huì)變得非常低效。

此外，典型的符合 PCIe 的層次結(jié)構(gòu)只有一個(gè)根端口，雖然多根 I/O 虛擬化和共享規(guī)范中支持多個(gè)根，但它使設(shè)計(jì)更加復(fù)雜，目前主流 CPU 不支持。結(jié)果是未使用的 PCIe 設(shè)備（即端點(diǎn)）被困在分配它們的主機(jī)中。在使用許多 GPU、存儲(chǔ)設(shè)備及其控制器和交換機(jī)的大型系統(tǒng)中，不難想象這將變得多么低效。

例如，如果第一臺(tái)主機(jī)（主機(jī) 1）消耗了所有計(jì)算資源，而主機(jī) 2 和 3 的資源未充分利用，那么主機(jī) 1 顯然需要訪問它們。但它不能，因?yàn)樗鼈冊(cè)谄鋵哟谓Y(jié)構(gòu)域之外，因此陷入困境。非透明橋接 (NTB) 是該問題的潛在解決方案，但也使系統(tǒng)變得復(fù)雜，因?yàn)樗枰糜诿糠N類型的共享 PCIe 設(shè)備的非標(biāo)準(zhǔn)驅(qū)動(dòng)程序和軟件。更好的方法是使用允許標(biāo)準(zhǔn) PCIe 拓?fù)涞?PCIe 結(jié)構(gòu)來(lái)容納可以訪問每個(gè)端點(diǎn)的多個(gè)主機(jī)。

實(shí)現(xiàn)方法
該系統(tǒng)是使用 PCIe 架構(gòu)交換機(jī)（在本例中是 Microchip 的 Switchtec PAX 系列的成員）在兩個(gè)離散但透明可互操作的域中實(shí)現(xiàn)的：包含所有端點(diǎn)和架構(gòu)鏈路的架構(gòu)域以及專用于每個(gè)主機(jī)的主機(jī)域（圖 3）。主機(jī)通過在嵌入式 CPU 上運(yùn)行的 PAX 交換機(jī)固件保存在單獨(dú)的虛擬域中，因此交換機(jī)將始終顯示為具有直接連接端點(diǎn)的標(biāo)準(zhǔn)單層 PCIe 設(shè)備，無(wú)論這些端點(diǎn)出現(xiàn)在結(jié)構(gòu)中的什么位置。

圖 3：每個(gè)結(jié)構(gòu)的獨(dú)立域

來(lái)自主機(jī)域的事務(wù)被轉(zhuǎn)換為結(jié)構(gòu)域中的 ID 和地址，反之亦然，結(jié)構(gòu)域中的流量的非分層路由。這允許系統(tǒng)中的所有主機(jī)共享連接交換機(jī)和端點(diǎn)的結(jié)構(gòu)鏈路。交換機(jī)固件攔截來(lái)自主機(jī)的所有配置平面流量，包括 PCIe 枚舉過程，并虛擬化一個(gè)簡(jiǎn)單的、符合 PCIe 規(guī)范的交換機(jī)，并具有可配置數(shù)量的下游端口。

雖然所有控制平面流量都路由到交換機(jī)固件進(jìn)行處理，但數(shù)據(jù)平面流量直接路由到端點(diǎn)。其他主機(jī)域中未使用的 GPU 不再擱淺，因?yàn)樗鼈兛梢愿鶕?jù)每個(gè)主機(jī)的需要?jiǎng)討B(tài)分配。結(jié)構(gòu)內(nèi)支持對(duì)等流量，使其能夠適應(yīng)機(jī)器學(xué)習(xí)應(yīng)用程序。由于功能以符合 PCIe 規(guī)范的方式呈現(xiàn)給每個(gè)主機(jī)，因此可以使用標(biāo)準(zhǔn)驅(qū)動(dòng)程序。

實(shí)際
應(yīng)用要了解這種方法的工作原理，請(qǐng)考慮圖 4中的系統(tǒng)，該系統(tǒng)由兩臺(tái)主機(jī)（主機(jī) 1 用于 Windows 主機(jī) 2 用于 Linux）、四個(gè) PAX PCIe 結(jié)構(gòu)交換機(jī)、四個(gè) Nvidia M40 GPGPU 和一個(gè)三星 NVMe SSD支持 SR-IOV。在本練習(xí)中，主機(jī)運(yùn)行代表實(shí)際機(jī)器學(xué)習(xí)工作負(fù)載的流量，包括 Nvidia 的 CUDA 點(diǎn)對(duì)點(diǎn)流量基準(zhǔn)測(cè)試實(shí)用程序和訓(xùn)練 CIFAR-10 圖像分類 TensorFlow 模型。嵌入式交換機(jī)固件處理交換機(jī)的低級(jí)配置和管理，系統(tǒng)由 Microchip 的 ChipLink 調(diào)試和診斷實(shí)用程序管理。

圖 4：兩主機(jī) PCIe 結(jié)構(gòu)引擎

四個(gè) GPU 最初分配給主機(jī) 1，PAX 結(jié)構(gòu)管理器顯示在結(jié)構(gòu)中發(fā)現(xiàn)的所有設(shè)備，其中 GPU 綁定到 Windows 主機(jī)。但是，主機(jī)掩蓋了結(jié)構(gòu)的復(fù)雜性，所有 GPU 看起來(lái)好像直接連接到虛擬交換機(jī)。然后結(jié)構(gòu)管理器綁定所有設(shè)備，Windows 設(shè)備管理器顯示 GPU。主機(jī)將交換機(jī)視為具有可配置數(shù)量的下游端口的簡(jiǎn)單物理 PCIe 交換機(jī)。

CUDA 發(fā)現(xiàn)四個(gè) GPU 后，點(diǎn)對(duì)點(diǎn)帶寬測(cè)試顯示單向傳輸?shù)乃俣葹?12.8 GB/s，雙向傳輸?shù)乃俣葹?24.9 GB/s。這些傳輸直接通過 PCIe 結(jié)構(gòu)而不通過主機(jī)。運(yùn)行 TensorFlow 模型訓(xùn)練 CIFAR-10 圖像分類算法，工作負(fù)載分布在所有四個(gè) GPU 上，可以將兩個(gè) GPU 釋放回結(jié)構(gòu)池，將它們與主機(jī)解除綁定。這可以釋放剩余的兩個(gè) GPU 來(lái)執(zhí)行其他工作負(fù)載。Linux 主機(jī)和它的 Windows 主機(jī)一樣，可以看到一個(gè)簡(jiǎn)單的 PCIe 開關(guān)，而不需要自定義驅(qū)動(dòng)程序，并且 CUDA 也可以發(fā)現(xiàn) GPU 并在 Linux 主機(jī)上運(yùn)行 P2P 傳輸。性能類似于使用 Windows 主機(jī)實(shí)現(xiàn)的性能，如表 1所示。

表 1：GPU 點(diǎn)對(duì)點(diǎn)傳輸帶寬

下一步是將 SR-IOV 虛擬功能附加到 Windows 主機(jī)，PAX 將其作為標(biāo)準(zhǔn)物理 NVM 設(shè)備呈現(xiàn)，允許主機(jī)使用標(biāo)準(zhǔn) NVMe 驅(qū)動(dòng)程序。在此之后，一個(gè)虛擬功能被組合到 Linux 主機(jī)，一個(gè)新的 NVMe 設(shè)備出現(xiàn)在塊設(shè)備列表中。這個(gè)練習(xí)的結(jié)果是兩臺(tái)主機(jī)現(xiàn)在都可以獨(dú)立使用它們的虛擬功能。

需要注意的是，虛擬 PCIe 開關(guān)和所有動(dòng)態(tài)分配操作都以完全符合 PCIe 規(guī)范的方式呈現(xiàn)給主機(jī)，從而使主機(jī)能夠使用標(biāo)準(zhǔn)驅(qū)動(dòng)程序。嵌入式交換機(jī)固件提供了一個(gè)簡(jiǎn)單的管理接口，因此 PCIe 結(jié)構(gòu)可以通過廉價(jià)的外部處理器進(jìn)行配置和管理。設(shè)備點(diǎn)對(duì)點(diǎn)事務(wù)默認(rèn)啟用，不需要外部結(jié)構(gòu)管理器的額外配置或管理。

總結(jié)
盡管 PCIe 標(biāo)準(zhǔn)本身存在一些障礙，但 PCIe 交換結(jié)構(gòu)是充分利用 CPU 的海量性能的絕佳手段。但是，可以通過使用動(dòng)態(tài)分區(qū)和多主機(jī)單根 I/O 虛擬化共享技術(shù)來(lái)解決這些限制，從而可以將 GPU 和 NVMe 資源實(shí)時(shí)動(dòng)態(tài)分配給多主機(jī)系統(tǒng)中的任何主機(jī)以滿足機(jī)器學(xué)習(xí)工作負(fù)載的不同需求?！　?/p>