LINUX內(nèi)核網(wǎng)絡(luò)中的軟中斷KSOFTIRQD

1. 前言

之前分享過Linux內(nèi)核網(wǎng)絡(luò)數(shù)據(jù)包的接收過程，當執(zhí)行到網(wǎng)卡通過硬件中斷（IRQ）通知CPU，告訴它有數(shù)據(jù)來了，CPU會根據(jù)中斷表，調(diào)用已經(jīng)注冊的中斷函數(shù)，這個中斷函數(shù)會調(diào)到驅(qū)動程序（NIC Driver）中相應的函數(shù)。驅(qū)動先禁用網(wǎng)卡的中斷，表示驅(qū)動程序已經(jīng)知道內(nèi)存中有數(shù)據(jù)了，告訴網(wǎng)卡下次再收到數(shù)據(jù)包直接寫內(nèi)存就可以了，不要再通知CPU了，這樣可以提高效率，避免CPU不停的被中斷。

由于硬中斷處理程序執(zhí)行的過程中不能被中斷，所以如果它執(zhí)行時間過長，會導致CPU沒法響應其它硬件的中斷，于是內(nèi)核引入軟中斷，這樣可以將硬中斷處理函數(shù)中耗時的部分移到軟中斷處理函數(shù)里面來慢慢處理。內(nèi)核中的ksoftirqd進程專門負責軟中斷的處理，當它收到軟中斷后，就會調(diào)用相應軟中斷所對應的處理函數(shù)，網(wǎng)卡驅(qū)動模塊拋出的軟中斷，ksoftirqd會調(diào)用網(wǎng)絡(luò)模塊的net_rx_action函數(shù)。

那么接下來，我們先宏觀上回顧一下數(shù)據(jù)包接收的過程，以了解軟中斷在此過程中的位置，然后介紹一下內(nèi)核中的軟中斷。

2. 數(shù)據(jù)包接收宏觀過程

加載網(wǎng)卡驅(qū)動，初始化 數(shù)據(jù)包從外部網(wǎng)絡(luò)進入網(wǎng)卡 網(wǎng)卡（通過DMA）將包拷貝到內(nèi)核內(nèi)存中的ring buffer 產(chǎn)生硬件中斷，通知系統(tǒng)收到了一個包 驅(qū)動調(diào)用 NAPI ，如果輪詢（poll）還沒有開始，就開始輪詢 ksoftirqd軟中斷調(diào)用 NAPI 的poll函數(shù)從ring buffer收包（poll 函數(shù)是網(wǎng)卡驅(qū)動在初始化階段注冊的；每個cpu上都運行著一個ksoftirqd進程，在系統(tǒng)啟動期間就注冊了） ring buffer里面對應的內(nèi)存區(qū)域解除映射（unmapped） 如果 packet steering 功能打開，或者網(wǎng)卡有多隊列，網(wǎng)卡收到的數(shù)據(jù)包會被分發(fā)到多個cpu 數(shù)據(jù)包從隊列進入?yún)f(xié)議層 協(xié)議層處理數(shù)據(jù)包 數(shù)據(jù)包從協(xié)議層進入相應 socket 的接收隊列

3. 軟中斷

內(nèi)核的軟中斷系統(tǒng)是一種在硬中斷處理上下文（驅(qū)動中）之外執(zhí)行代碼的機制。硬中斷處理函數(shù)（handler）執(zhí)行時，會屏蔽部分或全部（新的）硬中斷。中斷被屏蔽的時間越長，丟失事件的可能性也就越大。所以，所有耗時的操作都應該從硬中斷處理邏輯中剝離出來，硬中斷因此能盡可能快地執(zhí)行，然后再重新打開硬中斷。

內(nèi)核中也有其他機制將耗時操作轉(zhuǎn)移出去，不過對于網(wǎng)絡(luò)棧，我們接下來只看軟中斷ksoftirqd。可以把軟中斷系統(tǒng)想象成一系列內(nèi)核線程（每個 CPU 一個），這些線程執(zhí)行針對不同事件注冊的處理函數(shù)（handler），內(nèi)核子系統(tǒng)（比如網(wǎng)絡(luò)）能通過 open_softirq() 注冊軟中斷處理函數(shù)。通過 top 命令，會注意到 ksoftirqd/0 這個內(nèi)核線程，其表示這個軟中斷線程跑在 CPU 0 上，如下圖所示。

4. ksoftirqd

軟中斷對分擔硬中斷的工作量至關(guān)重要，因此軟中斷線程在內(nèi)核啟動的很早階段就 spawn 出來了。

kernel/softirq.c 中對 ksoftirqd 系統(tǒng)進行了初始化：

?

static?struct?smp_hotplug_thread?softirq_threads?=?{
??????.store??????????????=?&ksoftirqd,
??????.thread_should_run??=?ksoftirqd_should_run,
??????.thread_fn??????????=?run_ksoftirqd,
??????.thread_comm????????=?"ksoftirqd/%u",
};

static?__init?int?spawn_ksoftirqd(void)
{
??????register_cpu_notifier(&cpu_nfb);

??????BUG_ON(smpboot_register_percpu_thread(&softirq_threads));

??????return?0;
}
early_initcall(spawn_ksoftirqd);

?

看到注冊了兩個回調(diào)函數(shù)：ksoftirqd_should_run 和 run_ksoftirqd。這兩個函數(shù)都會從 kernel/smpboot.c 里調(diào)用，作為事件處理循環(huán)的一部分。

kernel/smpboot.c 里面的代碼首先調(diào)用 ksoftirqd_should_run 判斷是否有 pending 的軟中斷，如果有，就執(zhí)行 run_ksoftirqd，后者做一些 bookeeping 工作，然后調(diào)用 __do_softirq。

__do_softirq 做的幾件事情：

判斷哪個 softirq 被 pending

計算 softirq 時間，用于統(tǒng)計

更新 softirq 執(zhí)行相關(guān)的統(tǒng)計數(shù)據(jù)

執(zhí)行 pending softirq 的處理函數(shù)

?

asmlinkage?__visible?void?__do_softirq(void)
{
????unsigned?long?end?=?jiffies?+?MAX_SOFTIRQ_TIME;
????unsigned?long?old_flags?=?current->flags;
????int?max_restart?=?MAX_SOFTIRQ_RESTART;
????struct?softirq_action?*h;
????bool?in_hardirq;
????__u32?pending;
????int?softirq_bit;

????/*
?????*?Mask?out?PF_MEMALLOC?s?current?task?context?is?borrowed?for?the
?????*?softirq.?A?softirq?handled?such?as?network?RX?might?set?PF_MEMALLOC
?????*?again?if?the?socket?is?related?to?swap
?????*/
????current->flags?&=?~PF_MEMALLOC;

????pending?=?local_softirq_pending();?//獲取當前CPU的軟中斷寄存器__softirq_pending值到局部變量pending。
????account_irq_enter_time(current);

????__local_bh_disable_ip(_RET_IP_,?SOFTIRQ_OFFSET);?//增加preempt_count中的softirq域計數(shù)，表明當前在軟中斷上下文中。
????in_hardirq?=?lockdep_softirq_start();

restart:
????/*?Reset?the?pending?bitmask?before?enabling?irqs?*/
????set_softirq_pending(0);?//清除軟中斷寄存器__softirq_pending。

????local_irq_enable();?//打開本地中斷

????h?=?softirq_vec;?//指向softirq_vec第一個元素，即軟中斷HI_SOFTIRQ對應的處理函數(shù)。

????while?((softirq_bit?=?ffs(pending)))?{?//ffs()找到pending中第一個置位的比特位，返回值是第一個為1的位序號。這里的位是從低位開始，這也和優(yōu)先級相吻合，低位優(yōu)先得到執(zhí)行。如果沒有則返回0，退出循環(huán)。
????????unsigned?int?vec_nr;
????????int?prev_count;

????????h?+=?softirq_bit?-?1;?//根據(jù)sofrirq_bit找到對應的軟中斷描述符，即軟中斷處理函數(shù)。

????????vec_nr?=?h?-?softirq_vec;?//軟中斷序號
????????prev_count?=?preempt_count();

????????kstat_incr_softirqs_this_cpu(vec_nr);

????????trace_softirq_entry(vec_nr);
????????h->action(h);?//執(zhí)行對應軟中斷函數(shù)
????????trace_softirq_exit(vec_nr);
????????if?(unlikely(prev_count?!=?preempt_count()))?{
????????????pr_err("huh,?entered?softirq?%u?%s?%p?with?preempt_count?%08x,?exited?with?%08x?
",
???????????????????vec_nr,?softirq_to_name[vec_nr],?h->action,
???????????????????prev_count,?preempt_count());
????????????preempt_count_set(prev_count);
????????}
????????h++;?//h遞增，指向下一個軟中斷
????????pending?>>=?softirq_bit;?//pending右移softirq_bit位
????}

????rcu_bh_qs();
????local_irq_disable();?//關(guān)閉本地中斷

????pending?=?local_softirq_pending();?//再次檢查是否有軟中斷產(chǎn)生，在上一次檢查至此這段時間有新軟中斷產(chǎn)生。
????if?(pending)?{
????????if?(time_before(jiffies,?end)?&&?!need_resched()?&&?max_restart)?//再次觸發(fā)軟中斷執(zhí)行的三個條件：1.軟中斷處理時間不超過2jiffies，200Hz的系統(tǒng)對應10ms；2.當前沒有有進程需要調(diào)度，即!need_resched()；3.這種循環(huán)不超過10次。
????????????goto?restart;

????????wakeup_softirqd();?//如果上面的條件不滿足，則喚醒ksoftirq內(nèi)核線程來處理軟中斷。
????}

????lockdep_softirq_end(in_hardirq);
????account_irq_exit_time(current);
????__local_bh_enable(SOFTIRQ_OFFSET);?//減少preempt_count的softirq域計數(shù),和前面增加計數(shù)呼應。表示這段代碼處于軟中斷上下文。
????WARN_ON_ONCE(in_interrupt());
????tsk_restore_flags(current,?old_flags,?PF_MEMALLOC);
}

?

查看 CPU 利用率時，si 字段對應的就是 softirq，度量（從硬中斷轉(zhuǎn)移過來的）軟中斷的 CPU 使用量。

5. 監(jiān)測

軟中斷的信息可以從 /proc/softirqs 讀取：

6. 總結(jié)

中斷是一種異步的事件處理機制，用來提高系統(tǒng)的并發(fā)處理能力。中斷事件發(fā)生，會觸發(fā)執(zhí)行中斷處理程序，而中斷處理程序被分為上半部和下半部這兩個部分。上半部對應硬中斷，用來快速處理中斷；下半部對應軟中斷，用來異步處理上半部未完成的工作。Linux 中的軟中斷包括網(wǎng)絡(luò)收發(fā)、定時、調(diào)度、RCU 鎖等各種類型，我們可以查看 proc 文件系統(tǒng)中的 /proc/softirqs ，觀察軟中斷的運行情況。在 Linux 中，每個 CPU 都對應一個軟中斷內(nèi)核線程，名字是 ksoftirqd/CPU 編號。當軟中斷事件的頻率過高時，內(nèi)核線程也會因為 CPU 使用率過高而導致軟中斷處理不及時，進而引發(fā)網(wǎng)絡(luò)收發(fā)延遲、調(diào)度緩慢等性能問題。