Linux內(nèi)核驅(qū)動與單個(gè)PCI設(shè)備的綁定和解綁定

一、前言

在Linux內(nèi)核2.6.13-rc3以前，驅(qū)動和設(shè)備之間的綁定和解綁只能通過insmod(modprobe)和rmmod來實(shí)現(xiàn)，但是這種實(shí)現(xiàn)方法有一個(gè)弊端，就是一旦綁定或者解綁定都是針對驅(qū)動與其所支持的所有設(shè)備之間進(jìn)行，無法實(shí)現(xiàn)驅(qū)動單獨(dú)綁定或者解綁定一個(gè)設(shè)備。然而，在Linux內(nèi)核2.6.13-rc3以后，提供了在用戶空間動態(tài)的綁定和解綁定驅(qū)動與設(shè)備之間關(guān)系的功能，這樣就解決了前面提到的無法實(shí)現(xiàn)驅(qū)動單獨(dú)綁定或者解綁定一個(gè)設(shè)備的問題。

二、PCI總線

PCI(peripheral component interconnect，外圍設(shè)備互聯(lián))總線由PCI Host Bridge（PCI主橋）或者PCI Bus Bridge（PCI橋）管理，用來連接各類PCI設(shè)備，如聲卡、網(wǎng)卡和PCI橋等。在一個(gè)處理器系統(tǒng)中，可以通過PCI橋擴(kuò)展PCI總線，形成PCI總線樹型結(jié)構(gòu)，如下圖：Bus0上的Device2是一個(gè)PCI橋，由該橋拓展出Bus1。

在處理器系統(tǒng)中有幾個(gè)HOST主橋，就有幾棵PCI總線樹，而每一棵PCI總線樹都與一個(gè)PCI Domain（PCI總線域）對應(yīng)，上圖就是一個(gè)總線域。每個(gè)PCI設(shè)備都有一個(gè)vendor ID（供應(yīng)商號）和device ID（設(shè)備號）。

lspci用來顯示所有的PCI總線和連接在PCI總線上的設(shè)備，在一臺Linux設(shè)備上敲一敲lspci，通常得到類似如下信息：

[root@localhost ~]# lspci
00:00.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Root Complex
00:00.2 IOMMU: Advanced Micro Devices, Inc. [AMD] Starship/Matisse IOMMU
00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:01.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge
00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:05.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 61)
00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 0
00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 1
00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 2
00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 3
00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 4
00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 5
00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 6
00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 7
00:19.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 0
00:19.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 1
00:19.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 2
00:19.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 3
00:19.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 4
00:19.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 5
00:19.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 6
00:19.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 7
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
......

用其中最常見的以太網(wǎng)卡信息來剖析下各個(gè)參數(shù)的含義：

01:00.0 Ethernet controller: Corigine, Inc. Device 4000

• 01:00.0 ：表示PCI總線域?yàn)?code>0000，bus總線號為02，槽位號為01，功能號為0(lspci默認(rèn)省略總線域0000，可以加參數(shù)-D顯示）。
• Ethernet controller ：指設(shè)備類型，設(shè)備類型包括Device classes，Device subclasses，Program interfaces（一般省略），通過加參數(shù) -nn 可以看到Ethernet controller對應(yīng)的設(shè)備類型號為0200，其中02指Device classes，00指Device subclasses，通過The PCI ID Repository(http://pci-ids.ucw.cz/read/PD/02/00)在線網(wǎng)站也可以查看。

[root@localhost ~]# lspci -nn -D -s 01:00.0
0000:01:00.0 Ethernet controller [0200]: Corigine, Inc. Device [1da8:4000]

• Corigine, Inc. ：表示Corigine公司，如上面所示，對應(yīng)了供應(yīng)商號1da8和設(shè)備號4000，可通過如下方式查看，也可以通過device hunt``(https://devicehunt.com/)在線網(wǎng)站查看。

[root@localhost ~]#  lspci -nvmms 01:00.0
Slot:   01:00.0
Class:  0200
Vendor: 1da8
Device: 4000
SVendor:        1da8
SDevice:        0bf9
PhySlot:        2
NUMANode:       0
IOMMUGroup:     13

注意 ：在 Linux中，PCI設(shè)備的設(shè)備名稱（Device Name）通常以 domain:bus:slot:function 的形式來表示，如圖所示：

其中冒號分隔開的各個(gè)數(shù)字具有以下含義：

• domain ：表示PCI設(shè)備所在的PCI總線域（Domain），通常為一個(gè) 16 位的十六進(jìn)制數(shù)，用于區(qū)分不同的 PCI 總線域。在大多數(shù)情況下，這個(gè)值為 0000。
• bus ：表示 PCI 設(shè)備所在的總線（Bus），通常為一個(gè) 8 位的十六進(jìn)制數(shù)，用于區(qū)分不同的總線。一個(gè)系統(tǒng)可以具有多個(gè)總線。
• slot ：表示 PCI 設(shè)備所在的插槽（Slot），通常為一個(gè) 5 位的十六進(jìn)制數(shù)，用于區(qū)分不同的插槽。一個(gè)總線上可以有多個(gè)插槽。
• function ：表示 PCI 設(shè)備的功能（Function），通常為一個(gè) 3 位的十六進(jìn)制數(shù)，用于區(qū)分同一插槽上的不同功能。一個(gè)插槽上可以有多個(gè)功能。一個(gè)PCI物理設(shè)備可以實(shí)現(xiàn)多個(gè)功能設(shè)備，且邏輯功能相互獨(dú)立，其實(shí)就是 硬件虛擬化 。

通過這種編號方式，可以唯一標(biāo)識一個(gè) PCI 設(shè)備的位置信息。在上述示例中，"0000:01:00.0" 表示該設(shè)備位于 PCI 總線域 0000，總線 01，插槽 00，功能 0 。

請注意，這些數(shù)字可能會因系統(tǒng)配置而有所不同，具體取決于你的系統(tǒng)和相應(yīng)的 PCI 設(shè)備。

三、驅(qū)動與單個(gè)PCI設(shè)備的綁定和解綁定

此處，我們以PCI總線的Corigine網(wǎng)卡設(shè)備及其驅(qū)動為例，講述網(wǎng)卡設(shè)備及其驅(qū)動的綁定和解綁定過程。首先，執(zhí)行lspci顯示所用機(jī)器上的所有網(wǎng)卡設(shè)備：

[root@localhost ~]# lspci | grep Eth
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
21:00.0 Ethernet controller: Corigine, Inc. Network Flow Processor 3800
41:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.2 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.3 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)

對于所有的Corigine網(wǎng)卡設(shè)備，都可以在nfp驅(qū)動下看到。其中，bind和unbind文件就是涉及到綁定和解綁的關(guān)鍵文件。

[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root    0 Nov 14 05:17 0000:01:00.0 - > ../../../../devices/pci0000:00/0000:00:01.1/0000:01:00.0
lrwxrwxrwx 1 root root    0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:17 bind
lrwxrwxrwx 1 root root    0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun  8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:17 unbind

1、解綁定

這里我們以PCI總線BDF號為01:00.0的Corigine網(wǎng)卡為例，解綁該設(shè)備，只需將設(shè)備的帶PCI總線域的BDF號寫入/sys/bus/pci/drivers/nfp/unbind（不同的設(shè)備，驅(qū)動不同，即這里的nfp）即可：

[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/unbind
# 解除綁定成功，再查看目錄下文件，該驅(qū)動下不再有對應(yīng)的設(shè)備。
[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root    0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:17 bind
lrwxrwxrwx 1 root root    0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun  8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:23 unbind

執(zhí)行解綁定操作以后，我們可以通過lshw命令查看PCI設(shè)備：

[root@localhost ~]# lshw -c network -businfo
Bus info          Device     Class          Description
=======================================================
pci@0000:01:00.0  /dev/fb0   network        Corigine, Inc.
pci@0000:21:00.0  ens1np0    network        Corigine, Inc.
pci@0000:41:00.0  eno1       network        I350 Gigabit Network Connection
pci@0000:41:00.1  ens16f1    network        I350 Gigabit Network Connection
pci@0000:41:00.2  ens16f2    network        I350 Gigabit Network Connection
pci@0000:41:00.3  ens16f3    network        I350 Gigabit Network Connection
pci@0000:21:00.0  ens1np1    network        Ethernet interface

通過上述結(jié)果可知，BDF號為01:00.0的設(shè)備，在解綁定nfp驅(qū)動和該設(shè)備以后，該設(shè)備接口名稱已無法正常顯示，而同樣使用nfp 驅(qū)動的其他PCI設(shè)備，如上面BDF號為21:00.0的設(shè)備，則接口名稱正常顯示，說明驅(qū)動和該設(shè)備正常綁定。另外，也可通過如下方式對比兩個(gè)PCI設(shè)備此時(shí)的區(qū)別：

[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/unbind
[root@localhost ~]# lspci -s 01:00.0 -v
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
        Subsystem: Corigine, Inc. Device 0bf9
        Physical Slot: 2
        Flags: fast devsel, IRQ 117, NUMA node 0, IOMMU group 13
        Memory at 340a0000000 (64-bit, prefetchable) [size=128M]
        Memory at 340a8000000 (64-bit, prefetchable) [size=64M]
        Memory at 340ac000000 (64-bit, prefetchable) [size=16M]
        Expansion ROM at f5000000 [disabled] [size=16M]
        Capabilities: [80] Power Management version 3
        Capabilities: [b0] MSI-X: Enable- Count=256 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [150] Device Serial Number 88-3c-c5-a0-18-6d-10-ff
        Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [300] Secondary PCI Express
        Kernel modules: nfp  

[root@localhost ~]# lspci -s 21:00.0 -v
21:00.0 Ethernet controller: Corigine, Inc. Network Flow Processor 3800
        Subsystem: Corigine, Inc. Device 7feb
        Physical Slot: 1
        Flags: bus master, fast devsel, latency 0, IRQ 213, NUMA node 0, IOMMU group 29
        Memory at 2c070000000 (64-bit, prefetchable) [size=128M]
        Memory at 2c078000000 (64-bit, prefetchable) [size=64M]
        Memory at 2c07c000000 (64-bit, prefetchable) [size=16M]
        Expansion ROM at b0000000 [disabled] [size=16M]
        Capabilities: [88] Power Management version 3
        Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [150] Device Serial Number 88-3c-c5-a0-32-1e-10-ff
        Capabilities: [160] Power Budgeting  ? >
        Capabilities: [1b8] Latency Tolerance Reporting
        Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [300] Secondary PCI Express
        Capabilities: [400] Vendor Specific Information: ID=0001 Rev=1 Len=010 < ? >
        Kernel driver in use: nfp
        Kernel modules: nfp

根據(jù)上述結(jié)果可知，BDF號為01:00.0的PCI設(shè)備較BDF號為21:00.0的PCI設(shè)備明顯少了一行Kernel driver in use: nfp，說明BDF號為01:00.0的PCI設(shè)備已與nfp驅(qū)動解綁定，即nfp驅(qū)動未在使用中。而BDF號為21:00.0的PCI設(shè)備則正在與nfp驅(qū)動綁定中，即nfp驅(qū)動正在使用中。

2、綁定

綁定一個(gè)網(wǎng)卡設(shè)備，和解綁類似，將設(shè)備的帶PCI總線域的BDF號寫入/sys/bus/pci/drivers/nfp/bind（不同的設(shè)備，驅(qū)動不同，即這里的nfp）：

[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/bind
[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root    0 Nov 14 05:28 0000:01:00.0 - > ../../../../devices/pci0000:00/0000:00:01.1/0000:01:00.0
lrwxrwxrwx 1 root root    0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:27 bind
lrwxrwxrwx 1 root root    0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun  8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:23 unbind

執(zhí)行綁定操作以后，我們可以通過lshw命令查看PCI設(shè)備：

[root@localhost ~]# lshw -c network -businfo
Bus info          Device     Class          Description
=======================================================
pci@0000:01:00.0  ens2np0    network        Corigine, Inc.
pci@0000:21:00.0  ens1np0    network        Corigine, Inc.
pci@0000:41:00.0  eno1       network        I350 Gigabit Network Connection
pci@0000:41:00.1  ens16f1    network        I350 Gigabit Network Connection
pci@0000:41:00.2  ens16f2    network        I350 Gigabit Network Connection
pci@0000:41:00.3  ens16f3    network        I350 Gigabit Network Connection
pci@0000:21:00.0  ens1np1    network        Ethernet interface
pci@0000:01:00.0  ens2np1    network        Ethernet interface

通過上述結(jié)果可知，BDF號為01:00.0的設(shè)備，在綁定nfp驅(qū)動和該設(shè)備以后，該設(shè)備接口名稱已正常顯示，且使用如下命令時(shí)，也顯示nfp驅(qū)動正在使用中。

[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/bind
[root@localhost ~]# lspci -s 01:00.0 -v
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
        Subsystem: Corigine, Inc. Device 0bf9
        Physical Slot: 2
        Flags: bus master, fast devsel, latency 0, IRQ 117, NUMA node 0, IOMMU group 13
        Memory at 340a0000000 (64-bit, prefetchable) [size=128M]
        Memory at 340a8000000 (64-bit, prefetchable) [size=64M]
        Memory at 340ac000000 (64-bit, prefetchable) [size=16M]
        Expansion ROM at f5000000 [disabled] [size=16M]
        Capabilities: [80] Power Management version 3
        Capabilities: [b0] MSI-X: Enable+ Count=256 Masked-
        Capabilities: [c0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [150] Device Serial Number 88-3c-c5-a0-18-6d-10-ff
        Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [300] Secondary PCI Express
        Kernel driver in use: nfp
        Kernel modules: nfp

四、總結(jié)

bind是PCI設(shè)備綁定驅(qū)動過程中會使用到的文件，unbind 是解綁PCI設(shè)備與驅(qū)動過程中會使用到的文件。具體的綁定與解綁的過程就是向這兩個(gè)文件中寫入規(guī)定格式的數(shù)據(jù)完成的。

對 bind 文件寫入每一個(gè)接口的 PCI 號意味著我們可以將一個(gè)網(wǎng)卡上的不同口綁定到不同的驅(qū)動上。對unbind 文件寫入接口的 PCI 號就會解除當(dāng)前綁定的驅(qū)動。一個(gè)接口可以不綁定到任何驅(qū)動上面，不過我們常常不會這樣去做。

這里，我們只講了bind和unbind文件，其實(shí)PCI設(shè)備接口綁定驅(qū)動可能還會與new_id文件有關(guān)，new_id主要用于動態(tài)的向PCI設(shè)備驅(qū)動中添加一個(gè)新的設(shè)備ID，這種功能允許驅(qū)動添加更多的硬件而非僅包含在編譯時(shí)驅(qū)動靜態(tài)支持設(shè)備 ID 列表中的硬件。 寫入這個(gè)文件的格式中，Vendor Id 與 Device ID 字段是必須的，其它的字段可以不指定 。格式如下：

[root@localhost ~]# echo "1da8 4000" > /sys/bus/pci/drivers/nfp/new_id

成功添加一個(gè)設(shè)備 ID 時(shí)，驅(qū)動會嘗試 probe 系統(tǒng)中匹配到的設(shè)備并嘗試綁定到它之上。

既然有添加新的PCI設(shè)備的文件，那一定有移除新的PCI設(shè)備的文件，即與new_id位于同一目錄下的remove_id。

remove_id 的寫入格式與 new_id 的寫入格式相同。寫入 remove_id 可以用來確保內(nèi)核不會自動 probe 匹配到這個(gè)驅(qū)動的設(shè)備。格式如下：

[root@localhost ~]# echo "1da8 4000" > /sys/bus/pci/drivers/nfp/remove_id

至此，關(guān)于驅(qū)動與單個(gè)PCI設(shè)備的綁定和解綁定就介紹完了。