基于linux eBPF的進(jìn)程off-cpu的方法

提起off-CPU就不得不提on-cpu，on-cpu是在線程（進(jìn)程）在CPU上運(yùn)行的消耗，off-cpu就是進(jìn)程（線程）由于某種原因阻塞的消耗，如等待IO，等待鎖，等待定時(shí)器，等待內(nèi)存頁(yè)面的swap等。如下圖所示，紅色部分屬于on-cpu部分，藍(lán)色部分屬于off-cpu。

一般我們用的perf命令等都是采樣on-cpu的指令進(jìn)行CPU的消耗分析的，這篇文章主要介紹一下分析進(jìn)程off-cpu的方法。

要想風(fēng)險(xiǎn)一個(gè)進(jìn)程的off-cpu消耗，首先就是要確保程序編譯時(shí)有完整的堆棧信息。例如有些C程序?yàn)榱藘?yōu)化性能添加了gcc的-fomit-frame-pointer編譯選項(xiàng)，這就導(dǎo)致程序中不再有堆棧信息，對(duì)于這種情況是無法分析出off-cpu的堆棧消耗的。

這里講的分析off-cpu的工具是基于linux eBPF的offcputime（要求linux內(nèi)核版本在4.8以上），當(dāng)然使用perf sched timehist工具也可以（linux內(nèi)核版本大于4.10），但是開銷要大一些。我們首先yum安裝bpfcc-tools（tools for BPF Compiler Collection），以及git clone了

我們想看一下pgrep -nx tar命令的off-cpu執(zhí)行消耗可以使用如下命令。

如果我們只想查看內(nèi)核態(tài)的off-cpu消耗可以加上-K參數(shù)。如果想把TASK_UNINTERRUPTIBLE狀態(tài)過濾掉可以添加--state 2，其中TASK_RUNNING狀態(tài)為0, TASK_INTERRUPTIBLE狀態(tài)為1 TASK_UNINTERRUPTIBLE狀態(tài)為2。

當(dāng)然也可以查看off-cpu的火焰圖，如下方式

sudo offcputime-bpfcc -df -p `pgrep -nx a.out` 30 > out.stacks

./flamegraph.pl --color=io --title="Off-CPU Time Flame Graph" --countname=us~/out.stacks > output.svg

打開output.svg圖片即可。

然后我們?cè)賮碇v一下off-cpu的原理。當(dāng)進(jìn)程由于某種原因block或者要發(fā)送切換時(shí)，記錄一下當(dāng)前的堆棧和時(shí)間，當(dāng)切換回來的時(shí)候再次記錄下堆棧和時(shí)間即可。
編輯：hfy