文章介紹幾種常用的內(nèi)核動(dòng)態(tài)追蹤技術(shù),對(duì) ftrace、perf 及 eBPF 的使用方法進(jìn)行案例說(shuō)明。
1.什么是動(dòng)態(tài)追蹤
動(dòng)態(tài)追蹤技術(shù),是通過(guò)探針機(jī)制來(lái)采集內(nèi)核或者應(yīng)用程序的運(yùn)行信息,從而可以不用修改內(nèi)核或應(yīng)用程序的代碼,就獲得調(diào)試信息,對(duì)問(wèn)題進(jìn)行分析、定位。
通常在排查和調(diào)試異常問(wèn)題時(shí),我們首先想到的是使用 GDB 在程序運(yùn)行路徑上設(shè)置斷點(diǎn),然后結(jié)合命令進(jìn)行分析定位; 或者,在程序源碼中增加一系列的日志,從日志輸出中尋找線索。 不過(guò),斷點(diǎn)往往會(huì)中斷程序的正常運(yùn)行; 而增加新的日志,往往需要重新編譯和部署。 在面對(duì)偶現(xiàn)問(wèn)題以及對(duì)時(shí)延要求嚴(yán)格的場(chǎng)景下,GDB 和增加日志的方式就不能滿足需求了。
動(dòng)態(tài)追蹤為這些問(wèn)題提供了完美的方案:它既不需要停止服務(wù),也不需要修改程序的代碼; 程序還按照原來(lái)的方式正常運(yùn)行時(shí),就可以分析出問(wèn)題的根源。 同時(shí),相比以往的進(jìn)程級(jí)跟蹤方法(比如 ptrace),動(dòng)態(tài)追蹤往往只會(huì)帶來(lái)很小的性能損耗。
2.動(dòng)態(tài)追蹤技術(shù)分類
動(dòng)態(tài)追蹤的工具很多,systemtap、perf、ftrace、sysdig、eBPF 等。 動(dòng)態(tài)追蹤的事件源根據(jù)事件類型不同,主要分為三類:靜態(tài)探針, 動(dòng)態(tài)探針以及硬件事件。
- 硬件事件:通常由性能監(jiān)控計(jì)數(shù)器 PMC(Performance Monitoring Counter)產(chǎn)生,包括了各類硬件的性能情況,比如 CPU 的緩存、指令周期、分支預(yù)測(cè)等。
- 靜態(tài)探針:事先在代碼中定義好,并編譯到應(yīng)用程序或者內(nèi)核中的探針。 這些探針只有在開啟探測(cè)功能時(shí),才會(huì)被執(zhí)行到; 未開啟時(shí)并不會(huì)執(zhí)行。 常見(jiàn)的靜態(tài)探針包括內(nèi)核中的跟蹤點(diǎn)(tracepoints)和 USDT(Userland Statically Defined Tracing)探針。
- 動(dòng)態(tài)探針:沒(méi)有事先在代碼中定義,但卻可以在運(yùn)行時(shí)動(dòng)態(tài)添加的探針,比如函數(shù)的調(diào)用和返回等。 動(dòng)態(tài)探針支持按需在內(nèi)核或者應(yīng)用程序中添加探測(cè)點(diǎn),具有更高的靈活性。 常見(jiàn)的動(dòng)態(tài)探針有兩種,即用于內(nèi)核態(tài)的 kprobes 和用于用戶態(tài)的 uprobes。 需要注意的是 kprobes 需要內(nèi)核編譯時(shí)開啟 CONFIG_KPROBE_EVENTS,uprobes 則需要內(nèi)核編譯時(shí)開啟 CONFIG_UPROBE_EVENTS。
3動(dòng)態(tài)追蹤之ftrace
ftrace 最早用于函數(shù)跟蹤,后來(lái)擴(kuò)展支持了各種事件跟蹤功能。 ftrace 通過(guò) debugfs 以普通文件的形式,向用戶空間提供訪問(wèn)接口,這樣不需要額外的工具,就可以通過(guò)掛載點(diǎn)(通常為 /sys/kernel/debug/tracing 目錄)的文件讀寫,來(lái)跟 ftrace 交互,跟蹤內(nèi)核或者應(yīng)用程序的運(yùn)行事件。
在使用 ftrace 之前,首先要確定當(dāng)前系統(tǒng)是否已經(jīng)掛載了 debugfs,可以使用如下方式進(jìn)行確認(rèn)。
#方式一:查看掛載信息
mount | grep debugfs
#方式二:查看掛載點(diǎn)
ls /sys/kernel/debug/tracing
如果在上面的查找結(jié)果中有輸出,說(shuō)明當(dāng)前系統(tǒng)已經(jīng)掛載了 debugfs,如果系統(tǒng)未掛載 debugfs,則使用如下的命令進(jìn)行掛載。
mount -t debugfs nodev /sys/kernel/debug
在 /sys/kernel/debug/tracing 目錄下提供了各種跟蹤器(tracer)和事件(event),一些常用的選項(xiàng)如下。
- available_tracers:當(dāng)前系統(tǒng)支持的跟蹤器;
- available_events:當(dāng)前系統(tǒng)支持的事件;
- current_tracer:當(dāng)前正在使用的跟蹤器; 默認(rèn)為 nop,表示不做任何跟蹤操作,使用 echo 命令把跟蹤器的名字寫入該文件,即可切換到不同的跟蹤器;
- trace:當(dāng)前的跟蹤信息;
- tracing_on:用于開始或暫停跟蹤;
- trace_options:設(shè)置 ftrace 的一些相關(guān)選項(xiàng);
ftrace 提供了多個(gè)跟蹤器,用于跟蹤不同類型的信息,比如函數(shù)調(diào)用、中斷關(guān)閉、進(jìn)程調(diào)度等。 具體支持的跟蹤器取決于系統(tǒng)配置,使用如下的命令來(lái)查詢當(dāng)前系統(tǒng)支持的跟蹤器。
root@ubuntu:/sys/kernel/debug/tracing# cat available_tracers
hwlat blk mmiotrace function_graph wakeup_dl wakeup_rt wakeup function nop
以上是系統(tǒng)支持的所有跟蹤器,function 表示跟蹤函數(shù)的執(zhí)行,function_graph 則是跟蹤函數(shù)的調(diào)用關(guān)系,也就是生成直觀的調(diào)用關(guān)系圖,這是最常用的兩種跟蹤器。 也可以通過(guò)配置內(nèi)核,使系統(tǒng)支持更多類型的跟蹤器。
在使用跟蹤器前,需要確定好跟蹤目標(biāo),包括內(nèi)核函數(shù)和事件,函數(shù)是指內(nèi)核中的函數(shù)名,事件是指內(nèi)核中預(yù)先定義的跟蹤點(diǎn)。 可以使用如下方式查看內(nèi)核支持跟蹤的函數(shù)和事件。
#查看內(nèi)核支持追蹤的函數(shù)
cat available_filter_functions
#查看內(nèi)核支持追蹤的事件
cat available_events
接下來(lái)以一個(gè)簡(jiǎn)單的示例說(shuō)明 ftrace 的基本用法,比如我們需要跟蹤 open 的系統(tǒng)調(diào)用,open 在內(nèi)核中的實(shí)現(xiàn)接口為 do_sys_open,所以需要將跟蹤的函數(shù)設(shè)置為 do_sys_open,以下是跟蹤過(guò)程的步驟。
#設(shè)置函數(shù)跟蹤點(diǎn)為 do_sys_open
echo do_sys_open > set_graph_function
#設(shè)置當(dāng)前跟蹤器為 function_graph
echo function_graph > current_tracer
#配置 trace 屬性:顯示當(dāng)前的進(jìn)程
echo funcgraph-proc > trace_options
#清除 trace 緩存
echo > trace
#開啟跟蹤
echo 1 > tracing_on
#產(chǎn)生 do_sys_open 調(diào)用
ls
#關(guān)閉跟蹤
echo 0 > tracing_on
在關(guān)閉跟蹤后,使用 cat 命令查看跟蹤結(jié)果,如下所示,在 trace 文件中保存了跟蹤到的信息,第一列表示接口執(zhí)行的 CPU,第二列表示任務(wù)名稱和進(jìn)程 PID,第三列是函數(shù)執(zhí)行延遲,最后一列是函數(shù)調(diào)用關(guān)系圖。
root@ubuntu:/sys/kernel/debug/tracing# cat trace
# tracer: function_graph
#
# CPU TASK/PID DURATION FUNCTION CALLS
# | | | | | | | | |
2) ls-46073 | | do_sys_open() {
2) ls-46073 | | getname() {
2) ls-46073 | | getname_flags() {
2) ls-46073 | | kmem_cache_alloc() {
2) ls-46073 | | _cond_resched() {
2) ls-46073 | 0.119 us | rcu_all_qs();
2) ls-46073 | 0.416 us | }
2) ls-46073 | 0.095 us | should_failslab();
2) ls-46073 | 0.112 us | memcg_kmem_put_cache();
2) ls-46073 | 1.041 us | }
2) ls-46073 | | __check_object_size() {
2) ls-46073 | 0.097 us | check_stack_object();
2) ls-46073 | 0.100 us | __virt_addr_valid();
2) ls-46073 | 0.097 us | __check_heap_object();
2) ls-46073 | 0.662 us | }
2) ls-46073 | 2.109 us | }
2) ls-46073 | 2.414 us | }
ftrace 的輸出通過(guò)不同級(jí)別的縮進(jìn),直觀展示了各函數(shù)間的調(diào)用關(guān)系。 但是 ftrace 的使用需要好幾個(gè)步驟,用起來(lái)并不方便,不過(guò),trace-cmd 已經(jīng)把這些步驟給包裝了起來(lái),這樣,就可以通過(guò)一行命令,完成上述所有過(guò)程。 trace-cmd 的安裝方式如下。
# Ubuntu
apt install trace-cmd
# CentOS
yum install trace-cmd
trace-cmd安裝好之后,可以通過(guò)執(zhí)行如下的命令輸出類似的結(jié)果,值得注意的是 trace-cmd 的執(zhí)行不能在 /sys/kernel/debug/tracing 路徑,否則執(zhí)行出出錯(cuò),提示信息為“trace-cmd: Permission denied”。
trace-cmd record -p function_graph -g do_sys_open -O funcgraph-proc ls
trace-cmd report
ftrace 的追蹤功能不止于此,它不僅能追蹤到接口的調(diào)用關(guān)系,還能抓取接口調(diào)用的時(shí)間戳,用于性能分析; 還可根據(jù)需要追蹤的接口進(jìn)行模糊過(guò)濾,眾多的功能不在這里詳細(xì)介紹,如果項(xiàng)目中需要用到再進(jìn)行具體了解和總結(jié)。
4.動(dòng)態(tài)追蹤之perf
perf 的功能強(qiáng)大,可以統(tǒng)計(jì)分析出應(yīng)用程序或者內(nèi)核中的熱點(diǎn)函數(shù),從而用于程序性能分析; 也可以用來(lái)分析 CPU cache、CPU 遷移、分支預(yù)測(cè)、指令周期等各種硬件事件; 還可以對(duì)感興趣的事件進(jìn)行動(dòng)態(tài)追蹤。 下面以 do_sys_open 為例,設(shè)置目標(biāo)函數(shù)追蹤。 執(zhí)行如下命令,可以查詢所有支持的事件。
perf list
在 perf 的各個(gè)子命令中添加 --event 選項(xiàng),設(shè)置追蹤感興趣的事件。 如果這些預(yù)定義的事件不滿足實(shí)際需要,可以使用 perf probe 來(lái)動(dòng)態(tài)添加。 而且,除了追蹤內(nèi)核事件外,perf 還可以用來(lái)跟蹤用戶空間的函數(shù)。 執(zhí)行如下代碼添加 do_sys_open 探針。
#執(zhí)行指令
perf probe --add do_sys_open
#輸出
Added new event:
probe:do_sys_open (on do_sys_open)
You can now use it in all perf tools, such as:
perf record -e probe:do_sys_open -aR sleep 1
探針添加成功后,就可以在所有的 perf 子命令中使用。 比如,上述輸出就是一個(gè) perf record 的示例,執(zhí)行它就可以對(duì) 1s 內(nèi)的 do_sys_open 進(jìn)行采樣,如下所示。
#執(zhí)行命令
perf record -e probe:do_sys_open -aR sleep 1
#輸出
[ perf record: Woken up 1 times to write data ][ perf record: Captured and wrote 0.810 MB perf.data (18 samples) ]
執(zhí)行如下命令顯示采樣結(jié)果,輸出結(jié)果中列出了調(diào)用 do_sys_open 的任務(wù)名稱、進(jìn)程 PID 以及運(yùn)行的 CPU 等信息。
#執(zhí)行命令
perf script
#輸出
perf 3676 [003] 7619.618568: probe:do_sys_open: (ffffffffa92e78e0)
sleep 3677 [000] 7619.621118: probe:do_sys_open: (ffffffffa92e78e0)
sleep 3677 [000] 7619.621130: probe:do_sys_open: (ffffffffa92e78e0)
vminfo 1403 [001] 7619.864117: probe:do_sys_open: (ffffffffa92e78e0)
dbus-daemon 749 [001] 7619.864222: probe:do_sys_open: (ffffffffa92e78e0)
dbus-daemon 749 [001] 7619.864310: probe:do_sys_open: (ffffffffa92e78e0)
irqbalance 743 [000] 7620.013548: probe:do_sys_open: (ffffffffa92e78e0)
irqbalance 743 [000] 7620.013687: probe:do_sys_open: (ffffffffa92e78e0)
在使用結(jié)束后,使用如下命令刪除探針。
#刪除 do_sys_open 探針
perf probe --del probe:do_sys_open
5.動(dòng)態(tài)追蹤之eBPF
eBPF 相對(duì)于 ftrace 和 perf 更加靈活,它可以通過(guò) C 語(yǔ)言自由擴(kuò)展,這些擴(kuò)展通過(guò) LLVM (Low Level Virtual Machine) 轉(zhuǎn)換為 BPF 字節(jié)碼后,加載到內(nèi)核中執(zhí)行。
5.1 搭建 eBPF 開發(fā)環(huán)境
雖然 Linux 內(nèi)核很早就已經(jīng)支持了 eBPF,但很多新特性都是在 4.x 版本中逐步增加的。 所以,想要穩(wěn)定運(yùn)行 eBPF 程序,內(nèi)核至少需要 4.9 或者更新的版本。 而在開發(fā)和學(xué)習(xí) eBPF 時(shí),為了體驗(yàn)和掌握最新的 eBPF 特性,推薦使用更新的 5.x 內(nèi)核,接下來(lái)的案例是基于 Ubuntu20.04 系統(tǒng),內(nèi)核版本為 5.15.0-56-generic,eBPF 開發(fā)和運(yùn)行需要相關(guān)的開發(fā)工具如下。
- 將 eBPF 程序編譯成字節(jié)碼的 LLVM;
- C 語(yǔ)言程序編譯工具 make;
- 流行的 eBPF 工具集 BCC 和它依賴的內(nèi)核頭文件;
- 內(nèi)核代碼倉(cāng)庫(kù)實(shí)時(shí)同步的 libbpf;
- 內(nèi)核提供的 eBPF 程序管理工具 bpftool。
可運(yùn)行如下命令進(jìn)行相關(guān)工具的安裝。
apt install -y make clang llvm libelf-dev libbpf-dev bpfcc-tools libbpfcc-dev linux-tools-$(uname -r) linux-headers-$(uname -r)
5.2 開發(fā) eBPF 程序的步驟
一般來(lái)說(shuō), eBPF 程序的開發(fā)分為如下 5 個(gè)步驟。
- 第一步,使用 C 語(yǔ)言開發(fā)一個(gè) eBPF 程序;
- 第二步,借助 LLVM 把 eBPF 程序編譯成 BPF 字節(jié)碼;
- 第三步,通過(guò) bpf 系統(tǒng)調(diào)用,把 BPF 字節(jié)碼提交給內(nèi)核;
- 第四步,內(nèi)核驗(yàn)證并運(yùn)行 BPF 字節(jié)碼,并把相應(yīng)的狀態(tài)保存到 BPF 映射中;
- 第五步,用戶程序通過(guò) BPF 映射查詢 BPF 字節(jié)碼的運(yùn)行狀態(tài)。
eBPF 程序執(zhí)行過(guò)程
以上的每一步,都可以自己動(dòng)手去完成。 但為了方便,推薦從 BCC(BPF Compiler Collection)開始學(xué)起。 BCC 是一個(gè) BPF 編譯器集合,包含了用于構(gòu)建 BPF 程序的編程框架和庫(kù),并提供了大量可以直接使用的工具。 使用 BCC 的好處是,它把上述的 eBPF 執(zhí)行過(guò)程通過(guò)內(nèi)置框架抽象了起來(lái),并提供了 Python、C++ 等編程語(yǔ)言接口。 這樣,就可以直接通過(guò) Python 語(yǔ)言去跟 eBPF 的各種事件和數(shù)據(jù)進(jìn)行交互。
5.3 借助 BCC 開發(fā) eBPF 程序案例
接下來(lái),就以跟蹤 openat()(即打開文件)這個(gè)系統(tǒng)調(diào)用為例,說(shuō)明如何開發(fā)并運(yùn)行第一個(gè) eBPF 程序。 使用 BCC 開發(fā) eBPF 程序,可以把上面的五步簡(jiǎn)化為下面的三步。
5.3.1 使用 C 開發(fā)一個(gè) eBPF 程序
新建一個(gè) trace_open.c 文件,輸入如下內(nèi)容。
/* 包含頭文件 */
#include
#include
/* 定義數(shù)據(jù)結(jié)構(gòu) */
struct data_t {
u32 pid;
u64 ts;
char comm[TASK_COMM_LEN];
char fname[NAME_MAX];
};
/* 定義性能事件映射 */
BPF_PERF_OUTPUT(events);
/* 定義 kprobe 處理函數(shù) */
int trace_open(struct pt_regs *ctx, int dfd, const char __user *filename, struct open_how *how)
{
struct data_t data = {};
/* 獲取 PID 和時(shí)間 */
data.pid = bpf_get_current_pid_tgid();
data.ts = bpf_ktime_get_ns();
/* 獲取進(jìn)程名 */
if (bpf_get_current_comm(&data.comm, sizeof(data.comm)) == 0)
{
bpf_probe_read(&data.fname, sizeof(data.fname), (void *)filename);
}
/* 提交性能事件 */
events.perf_submit(ctx, &data, sizeof(data));
return 0;
}
BPF 程序可以利用 BPF 映射(map)進(jìn)行數(shù)據(jù)存儲(chǔ),而用戶程序也需要通過(guò) BPF 映射,同運(yùn)行在內(nèi)核中的 BPF 程序進(jìn)行交互。 用戶層為了獲取內(nèi)核打開文件名稱時(shí),就要引入 BPF 映射。 為了簡(jiǎn)化 BPF 映射的交互,BCC 定義了一系列的庫(kù)函數(shù)和輔助宏定義。
如下是對(duì)上述代碼的說(shuō)明。
- data_t 是用戶自定義的數(shù)據(jù)結(jié)構(gòu),用于保存進(jìn)程 PID、時(shí)間、執(zhí)行命令及文件名稱;
- 使用 BPF_PERF_OUTPUT 來(lái)定義一個(gè) Perf 事件類型的 BPF 映射;
- bpf_get_current_pid_tgid 用于獲取進(jìn)程的 TGID 和 PID。 定義的 data.pid 數(shù)據(jù)類型為 u32,所以高 32 位舍棄掉后就是進(jìn)程的 PID;
- bpf_ktime_get_ns 用于獲取系統(tǒng)自啟動(dòng)以來(lái)的時(shí)間,單位是納秒;
- bpf_get_current_comm 用于獲取進(jìn)程名,并把進(jìn)程名復(fù)制到預(yù)定義的緩沖區(qū)中;
- bpf_probe_read 用于從指定指針處讀取固定大小的數(shù)據(jù),這里則用于讀取進(jìn)程打開的文件名。
- perf_submit() 接口將填充好的 data 數(shù)據(jù)提交到定義的 BPF 映射中;
5.3.2 使用 Python 開發(fā)用戶態(tài)程序
創(chuàng)建一個(gè) trace_open.py 文件,并輸入下面的內(nèi)容。
#!/usr/bin/env python3
# 1) import bcc library
from bcc import BPF
# 2) load BPF program
b = BPF(src_file="trace_open.c")
# 3) attach kprobe
b.attach_kprobe(event="do_sys_openat2", fn_name="trace_open")
# 4) print header
print("%-18s %-16s %-6s %-16s" % ("TIME(s)", "COMM", "PID", "FILE"))
# 5) define the callback for perf event
start = 0
def print_event(cpu, data, size):
global start
event = b["events"].event(data)
if start == 0:
start = event.ts
time_s = (float(event.ts - start)) / 1000000000
print("%-18.9f %-16s %-6d %-16s" % (time_s, event.comm, event.pid, event.fname))
# 6) loop with callback to print_event
b["events"].open_perf_buffer(print_event)
while 1:
try:
b.perf_buffer_poll()
except KeyboardInterrupt:
exit()
如下是對(duì)上述代碼的說(shuō)明。
- 第 1) 處導(dǎo)入了 BCC 庫(kù)的 BPF 模塊,以便接下來(lái)調(diào)用;
- 第 2) 處調(diào)用 BPF() 加載第一步開發(fā)的 BPF 源代碼;
- 第 3) 處將 BPF 程序掛載到內(nèi)核探針(簡(jiǎn)稱 kprobe),其中 do_sys_openat2() 是系統(tǒng)調(diào)用 openat() 在內(nèi)核中的實(shí)現(xiàn);
- 第 4) 處輸出顯示標(biāo)題;
- 第 5) 處的 print_event 定義一個(gè)數(shù)據(jù)處理的回調(diào)函數(shù),打印進(jìn)程的名字、PID 以及它調(diào)用 openat 時(shí)打開的文件;
- 第 6) 處的 open_perf_buffer 定義了名為 "events" 的 Perf 事件映射,而后通過(guò)一個(gè)循環(huán)調(diào)用 perf_buffer_poll 讀取映射的內(nèi)容,并執(zhí)行回調(diào)函數(shù)輸出進(jìn)程信息。
5.3.3 執(zhí)行 eBPF 程序
用戶態(tài)程序開發(fā)完成之后,最后一步就是執(zhí)行它了。 需要注意的是,eBPF 程序需要以 root 用戶來(lái)運(yùn)行,非 root 用戶需要加上 sudo 來(lái)執(zhí)行,輸入如下命令執(zhí)行程序。
python3 trace_open.py
命令執(zhí)行后,可以在另一個(gè)終端中輸入 cat 或 ls 命令(執(zhí)行文件打開命令),然后回到運(yùn)行 trace_open.py 腳本的終端,結(jié)果如下。
TIME(s) COMM PID FILE
0.000000000 b'ls' 5171 b'/etc/ld.so.cache'
0.000021937 b'ls' 5171 b'/lib/x86_64-linux-gnu/libselinux.so.1'
......
2.088971702 b'gsd-housekeepin' 1803 b'/etc/fstab'
2.089056747 b'gsd-housekeepin' 1803 b'/proc/self/mountinfo'
......
2.741662512 b'cat' 5172 b'/etc/ld.so.cache'
2.741681539 b'cat' 5172 b'/lib/x86_64-linux-gnu/libc.so.6'
......
5.4 eBPF 開發(fā)方式簡(jiǎn)介
除了 BCC 之外,eBPF 還有可以使用其他的方式進(jìn)行輔助開發(fā),比如 bpftrace 和 libbpf,每種方法都有自己的優(yōu)點(diǎn)和適用范圍,以下是這三種方式的對(duì)比。
- bpftrace 通常用在快速排查和定位系統(tǒng)上,它支持用單行腳本的方式來(lái)快速開發(fā)并執(zhí)行一個(gè) eBPF 程序。 不過(guò),bpftrace 的功能有限,不支持特別復(fù)雜的 eBPF 程序,也依賴于 BCC 和 LLVM 動(dòng)態(tài)編譯執(zhí)行。
- BCC 通常用在開發(fā)復(fù)雜的 eBPF 程序中,其內(nèi)置的各種小工具也是目前應(yīng)用最為廣泛的 eBPF 小程序。 不過(guò),BCC 也不是完美的,它依賴于 LLVM 和內(nèi)核頭文件才可以動(dòng)態(tài)編譯和加載 eBPF 程序。
- libbpf 是從內(nèi)核中抽離出來(lái)的標(biāo)準(zhǔn)庫(kù),用它開發(fā)的 eBPF 程序可以直接分發(fā)執(zhí)行,這樣就不需要每臺(tái)機(jī)器都安裝 LLVM 和內(nèi)核頭文件了。 不過(guò),它要求內(nèi)核開啟 BTF 特性,需要非常新的發(fā)行版才會(huì)默認(rèn)開啟(如 RHEL 8.2+ 和 Ubuntu 20.10+ 等)。
在實(shí)際應(yīng)用中,可以根據(jù)內(nèi)核版本、內(nèi)核配置、eBPF 程序復(fù)雜度,以及是否允許安裝內(nèi)核頭文件和 LLVM 編譯工具等,來(lái)選擇最合適的方案。
-
內(nèi)核
+關(guān)注
關(guān)注
3文章
1336瀏覽量
40082 -
Linux
+關(guān)注
關(guān)注
87文章
11123瀏覽量
207889 -
命令
+關(guān)注
關(guān)注
5文章
658瀏覽量
21927 -
追蹤技術(shù)
+關(guān)注
關(guān)注
0文章
19瀏覽量
4278
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論