超全的SPDK性能評估指南

一

通過fio工具測試磁盤性能

SPDK采用異步I/O（Asynchronous I/O）加輪詢（Polling）的工作模式，通常與Kernel的異步I/O作為對比。在此，主要介紹通過使用fio評估Kernel異步I/O，以及spdk fio_plugin的兩種模式。

01

fio評估kernel異步I/O（AIO）

fio支持多種模式的I/O引擎，同時也包含了測試異步I/O的引擎，即libaio。在測試異步I/O的時候，只需要將fio啟動配置文件中的ioengine設(shè)為libaio即可。通常在做異步I/O的時候，I/O請求會發(fā)送到相應(yīng)的隊列中，等待被處理，因此隊列深度將會影響磁盤性能。所以在測試異步I/O的時候，根據(jù)磁盤的特性指定相應(yīng)的隊列深度（iodepth）。

測試Kernel異步I/O的fio配置參數(shù)示例如下：

[Global]ioengine=libaiodirect=1rw=randrwrwmixread=100 (100% reads), 70 (70% reads 30% writes), 0 (100 writes)thread=1norandommap=1time_base=1runtime=300sramp_time=10sbs=4kiodepth=32Numjobs=1[test]filename=/dev/nvme0n1

參數(shù)詳解

ioengine：指定I/O引擎，在這里測試Kernel的異步I/O，因此指定I/O引擎為libaio；direct: 指定direct模式O_DIRECT，I/O會繞過系統(tǒng)的page buffer；rw：讀寫模式，這里指定randrw表示混合隨機讀寫；rwmixread：混合隨機讀寫模式下read請求所占比例；thread：指定使用線程模式。由于spdk fio_plugin只支持線程模式，因此與Kernel對比時，通常都統(tǒng)一指定線程模式來對比；norandommap：指定I/O時，每次都獲取一個新的隨機offset，防止額外的CPU使用消耗；time_based：指定采用時間模式；runtime：測試時長；ramp_time：統(tǒng)計性能之前所運行的時間，為了防止沒有進行穩(wěn)態(tài)而造成的性能虛高帶來的影響；bs：I/O塊大小；iodepth：隊列深度；numjobs：worker的個數(shù)；filename：指定測試的對象。

02

基于NVMe的fio_plugin

安裝步驟

a. 下載編譯fio：

git clone https://github.com/axboe/fiocd fio && git checkout fio-3.3make

b.下載編譯SPDK：

git clone https://github.com/spdk/spdkcd spdk && git submodule update --init./configure --with-fio=/path/to/fio/repo make

注意：由于fio_plugin要依賴fio中提供的一些依賴包，因此在運行configure時，必須指定fio目錄，否則默認fio_plugin不會編譯

測試方法

a. 使用fio_plugin測試裸盤，需要引入fio_plugin路徑，因此在運行fio時，在fio命令之前加如下參數(shù)：

LD_PRELOAD=/examples/nvme/fio_plugin/fio_plugin

b. 其次，需要在fio配置文件中設(shè)定ioengine為spdk。

c. 運行fio時候，不僅要指定fio運行配置文件，同時要通過額外的參數(shù)'--filename'指定spdk能夠識別的設(shè)備地址信息。通常，fio_plugin支持兩種模式下的測試，一是本地的NVMe設(shè)備，即NVMe over PCIe；二是遠端的NVMe設(shè)備，即NVMe over Fabrics。如下所示：

NVMe over PCIe:LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1'NVMe over Fabrics:LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=RDMA adrfam=IPv4 traddr=192.0.0.1 trsvcid=4420 ns=1'

其它說明

a. 對于使用1個core，測試多塊盤的情況，通常只需要設(shè)定numjob為1，同時在fio命令通過多個filename參數(shù)來指定多塊要測試的盤(多個filename參數(shù)之間用空格相隔即可)，例如同時測試三塊盤：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1' '--filename=trtype=PCIe traddr=0000.07.00.0 ns=1' '--filename=trtype=PCIe traddr=0000.08.00.0 ns=1'

b. 對于使用fio_plugin作為新的ioengine而引入的新的fio參數(shù)說明，可以通過以下命令查看相關(guān)參數(shù)說明：

LD_PRELOAD.../fio_plugin fio --enghelp=spdk

c. 此外，可以通過直接在ioengine中指定fio_plugin的絕對路徑，而無須每次運行fio都動態(tài)加載LD_PRELOAD。即： fio配置文件中添加修改ioengine=/examples/nvme/fio_plugin/fio_plugin；運行fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1'即可測試。

03

基于bdev的fio_plugin

基于bdev的fio_plugin是將I/O在spdk塊設(shè)備bdev之上進行發(fā)送。而基于裸盤的fio_plugin，I/O是直接到裸盤上進行處理。因此兩者最大的差別在于I/O是否經(jīng)過bdev這一層。因此，基于bdev的fio_plugin能夠很好的評估spdk塊設(shè)備層bdev的性能。

其編譯安裝與裸盤的fio_plugin完全相同，下面詳細介紹其測試方法：

a. 使用fio_plugin測試bdev性能，需要bdev fio_plugin的路徑，因此在運行fio時，在fio命令之前加如下參數(shù)：

LD_PRELOAD=/examples/bdev/fio_plugin/fio_plugin

b. 其次，需要在fio配置文件中設(shè)定ioengine為spdk_bdev

c. 需要在fio配置文件中指定spdk啟動配置文件。如下所示：

spdk_conf=./example/bdev/fio_plugin/bdev.conf

spdk運行配置文件中指定了所有bdev的配置信息，示例如下：

[Malloc]

NumberOfLuns 1LunSizeInMB 128

[Nvme]

TransportID "trtype:PCIe traddr:0000:82:00.0" Nvme0

RetryCount 4TimeoutUsec 0AcctionOnTimeout NoneAdminPollRate 100000

d.運行fio的時候，通過'--filename'直接指定所要測試的bdev名稱即可，示例如下：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=Nvme0n1'

其他說明

a. 使用基于bdev的fio_plugin測試多個設(shè)備時候，需要在spdk運行配置文件中寫入相應(yīng)的bdev配置信息，其次在fio運行時，指定多個filename參數(shù)即可，多個filename之間用空格相隔。例如同時測兩個設(shè)備Malloc0與Nvme0n1，如下所示：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=Nvme0n1' '--filename=Malloc0'

b.同理，若查看基于bdev的fio_plugin相關(guān)參數(shù)說明，可以通過如下命令：

LD_PRELOAD.../fio_plugin fio --enghelp=spdk_bdev

c. 此外，可以通過直接在ioengine中指定fio_plugin的絕對路徑，而無須每次運行fio都動態(tài)加載LD_PRELOAD。即：

fio配置文件中添加修改ioengine=/examples/bdev/fio_plugin/fio_plugin；運行fio config.fio '--filename=Nvme0n1'即可測試。

二

通過spdk perf測試磁盤性能

01

基于NVMe的perf工具

成功編譯spdk后，可在spdk/examples/nvme/perf/目錄下找到perf工具的二進制運行文件。perf使用方法如下所示：

perf -c -q -t -w -s -o -r