揭露內(nèi)核黑科技 - 熱補丁技術(shù)真容

內(nèi)核熱補丁是一種無需重啟操作系統(tǒng)，動態(tài)為內(nèi)核打補丁的技術(shù)。系統(tǒng)管理員基于該技術(shù)，可以在不重啟系統(tǒng)的情況下，修復(fù)內(nèi)核BUG或安全漏洞，可以在最大程度上減少系統(tǒng)宕機時間，增加系統(tǒng)的可用性。

一直很好奇內(nèi)核熱補丁這個黑科技，今天終于可以揭露它的真容了。當(dāng)然這章的內(nèi)容強烈依賴于前一章探秘ftrace[1]。有需要的小伙伴請自取。

從一個例子開始

作為一個小白，當(dāng)然是從一個例子開始入手會比較簡單。感謝內(nèi)核社區(qū)開發(fā)著貼心的服務(wù)，在內(nèi)核代碼中，就有熱補丁的例子在samples/livepatch目錄下。

我們來看一個非常簡單的例子，因為太簡單了，我干脆就把整個代碼都貼上來了。

我想，有一些內(nèi)核開發(fā)經(jīng)驗的小伙伴，從這個例子中就可以猜出這個代碼的作用。

將函數(shù)cmdline_proc_show替換成livepatch_cmdline_proc_show

怎么樣，是不是炒雞簡單？

來點難的

上面的代碼實在是太沒有難度了，讓我們來點挑戰(zhàn)?？纯催@個klp_enable_patch究竟做了點什么。

怎么樣，是不是有點傻眼了？這么多調(diào)用都是點啥？別急，其實這么多調(diào)用大多是花架子。如果你了解了klp_patch這個數(shù)據(jù)結(jié)構(gòu)，我想一切都迎刃而解了。

klp_patch的數(shù)據(jù)結(jié)構(gòu)

所以說大學(xué)時候?qū)W習(xí)算法和數(shù)據(jù)結(jié)構(gòu)是非常有道理的，只可惜當(dāng)年我壓根就沒有好好學(xué)習(xí)，以至于工作后不得不拼命補課。瞧，這時候又能用上了。

想要了解上面列出的klp_enable_patch這個函數(shù)的邏輯，還是要從klp_patch這個結(jié)構(gòu)體入手。

大家可以對照這例子代碼中的klp_patch和這個圖來幫助理解。

這個klp_patch就好像是一個二維數(shù)組

第一維是klp_object

第二維是klp_func

最后落實到klp_func標(biāo)注了要替換的目標(biāo)函數(shù)和替換成的新的函數(shù)。

知道了這個后，再回過去看剛才那一坨初始化的代碼是不是會簡單點？其實就是做了幾個循環(huán)，把這個二維數(shù)組上所有的klp_object和klp_patch都初始化好。所有的初始化，大部分是創(chuàng)建對應(yīng)的kobj，這樣在/sys/kernel/livepatch/目錄下就能控制每個熱補丁點了。

真正的干貨

到此為止，看了半天其實都沒有看到熱不定究竟是怎么打到內(nèi)核代碼上的。別急，小編這就給您娓娓道來。

在前面初始化的代碼中，大家有沒有看到一個函數(shù)–klp_patch_func？這個函數(shù)會對每個klp_func數(shù)據(jù)執(zhí)行一遍。對了，魔鬼就在這里。

這幾個可以說都是重量級的選手，讓我慢慢給您一一講解。

klp_get_ftrace_location

這個函數(shù)呢，就是要給出被替換的函數(shù)地址。首先我們在定義中并沒有給出這個old_func的地址，所以第一步是要算出這個old_func。這部分工作在函數(shù)klp_init_object_loaded中通過klp_find_object_symbol查找symbol來得到。

ops->fops.func = klp_ftrace_handler

這是什么呢？對了，如果你對ftrace還有印象，這就是我們會替換掉ftrace探針的那個函數(shù)。也就是說，當(dāng)我們的想要修改的函數(shù)被執(zhí)行到時，這個klp_ftrace_handler就會被調(diào)用起來干活了。

ftrace_set_filter_ip

在探秘ftrace中，我們并沒有展開這個ftrace_ops結(jié)構(gòu)體。那這里我們就來展開看一下。

每個ftrace_ops上都有兩個哈希表，還記得我們操作ftrace時候有兩個文件 set_ftrace_filter / set_ftrace_notrace么？這兩個文件分別用來控制我們想跟蹤那個函數(shù)和不想跟蹤那個函數(shù)。這兩個集合在代碼中就對應(yīng)了ftrace_ops中的兩個哈希表 filter_hash / notrace_hash。

所以 ftrace_set_filter_ip 就是用來將我們想要補丁的函數(shù)加到這個哈希表上的。

register_ftrace_function

這個函數(shù)的功效在探秘ftrace中已經(jīng)描述過了一部分，這里我們將從另一個角度再次闡述。

register_ftrace_function函數(shù)的功效之一是將ftrace_ops結(jié)構(gòu)體添加到全局鏈表ftrace_ops_list上，這么做有什么用呢？我們來看一下被ftrace插入到代碼中的函數(shù)ftrace_ops_list_func。

可以看到，每一個被ftrace改變的函數(shù)，如果在有多個ftrace_ops的情況下，會通過ftrace_ops_test()來判斷當(dāng)前函數(shù)是否符合這個ftrace_ops。如果符合才會執(zhí)行op->func。（注意，這個func就是剛才設(shè)置的klp_ftrace_handler了。

而這個ftrace_ops_test()是怎么做判斷的呢？對了，我想你已經(jīng)猜到了，咱不是有兩個哈希表么？

驚人一躍

到此為止，我們還是圍繞著熱補丁怎么利用ftrace的框架，讓自己在特定的探針上執(zhí)行，還沒有真正看到所謂的補丁是怎么打上去的。是時候來揭開這層面紗了。

通過上述的操作，klp成功的在某個探針上嵌入了函數(shù)klp_ftrace_handler。那就看看這個函數(shù)吧。

klp_ftrace_handler(ip, parent_ip, fops, regs) klp_arch_set_pc(regs, func->new_func) regs->ip = ip;

怎么樣，是不是有點吃驚，所謂的熱補丁就是這么一個語句？理論上講到這里，意思上也明白了，但是我依然想要弄清楚這個究竟是怎么一回事兒。

這一切還是要從ftrace的探針開始說起。

因為klp在設(shè)置ftrace_ops時添加了FTRACE_OPS_FL_SAVE_REGS，所以對應(yīng)的探針是ftrace_reg_caller。經(jīng)過一番刨根問底，終于發(fā)現(xiàn)了秘密。

在探針執(zhí)行ftrace_ops_list_func的前，會將調(diào)用探針的rip保存到堆棧上的regs參數(shù)中。然后在返回探針前，將rges->ip上的內(nèi)容再恢復(fù)到函數(shù)返回地址上。此時如果有klp的探針函數(shù)，那么這個值就改變?yōu)榱宋覀兿敫淖兂傻暮瘮?shù)了。

怎么樣，原來黑科技是這么玩的！

這事兒有點抽象，讓我畫一個簡易的堆棧示意一下。

一切的秘密都在這個堆棧上的return address里了。

到這里我才反應(yīng)過來，原來黑科技就是黑客用的科技啊 ：）

補充知識 – 函數(shù)返回地址

上面的這個黑科技運用到了一個x86架構(gòu)下，如何保存函數(shù)返回是運行的地址的原理。也就是指令callq/retq是如何改變堆棧的。

那先說一下原理：

callq指令在跳轉(zhuǎn)到目標(biāo)代碼前，會將自身的下一條指令的地址放到堆棧上。retq執(zhí)行返回時，會從堆棧上取出目標(biāo)地址然后跳轉(zhuǎn)到那里。

這么說有點抽象了，咱們可以用gdb做一個簡單的實驗。

實驗代碼

一個再簡單不過的add函數(shù)。

#include int add(int a, int b){ return a + b;} int main(){ int a = 3; a = a + 3; add(a, 2); return 0;}

驗證返回地址在堆棧上

使用gdb在add返回前停住，然后用下面的指令查看狀態(tài)。

(gdb) disassembleDump of assembler code for function add: 0x00000000004004ed <+0>: push %rbp 0x00000000004004ee <+1>: mov %rsp,%rbp 0x00000000004004f1 <+4>: mov %edi,-0x4(%rbp) 0x00000000004004f4 <+7>: mov %esi,-0x8(%rbp) 0x00000000004004f7 <+10>: mov -0x8(%rbp),%eax 0x00000000004004fa <+13>: mov -0x4(%rbp),%edx 0x00000000004004fd <+16>: add %edx,%eax 0x00000000004004ff <+18>: pop %rbp=> 0x0000000000400500 <+19>: retqEnd of assembler dump.(gdb) info registers rsprsp 0x7fffffffe2e8 0x7fffffffe2e8(gdb) x/1xw 0x7fffffffe2e80x7fffffffe2e8: 0x00400523

首先我們看到在執(zhí)行retq前，堆棧上的內(nèi)容是0x00400523。

接著我們再執(zhí)行一次stepi。

(gdb) stepimain () at main.c:1313 return 0;(gdb) info registers rsprsp 0x7fffffffe2f0 0x7fffffffe2f0(gdb) info registers riprip0x4005230x400523此時我們看到堆棧變化了，而且rip的值和剛才堆棧上的值是一樣的。

然后再反匯編一下，看到此時正要執(zhí)行的指令就是callq后面的一條指令。

(gdb) disassembleDump of assembler code for function main: 0x0000000000400501 <+0>: push %rbp 0x0000000000400502 <+1>: mov %rsp,%rbp 0x0000000000400505 <+4>: sub $0x10,%rsp 0x0000000000400509 <+8>: movl $0x3,-0x4(%rbp) 0x0000000000400510 <+15>: addl $0x3,-0x4(%rbp) 0x0000000000400514 <+19>: mov -0x4(%rbp),%eax 0x0000000000400517 <+22>: mov $0x2,%esi 0x000000000040051c <+27>: mov %eax,%edi 0x000000000040051e <+29>: callq 0x4004ed => 0x0000000000400523 <+34>: mov $0x0,%eax 0x0000000000400528 <+39>: leaveq 0x0000000000400529 <+40>: retqEnd of assembler dump.

修改返回地址

接下來我們還能模擬熱補丁，來修改這個返回值。（當(dāng)然比較簡陋些。）

我們在add函數(shù)執(zhí)行retq前停住，用gdb改變堆棧上的值，讓他指向mov的下一條指令leaveq。

(gdb) disassembleDump of assembler code for function add: 0x00000000004004ed <+0>: push %rbp 0x00000000004004ee <+1>: mov %rsp,%rbp 0x00000000004004f1 <+4>: mov %edi,-0x4(%rbp) 0x00000000004004f4 <+7>: mov %esi,-0x8(%rbp) 0x00000000004004f7 <+10>: mov -0x8(%rbp),%eax 0x00000000004004fa <+13>: mov -0x4(%rbp),%edx 0x00000000004004fd <+16>: add %edx,%eax 0x00000000004004ff <+18>: pop %rbp=> 0x0000000000400500 <+19>: retqEnd of assembler dump.(gdb) info registers rsprsp 0x7fffffffe2e8 0x7fffffffe2e8(gdb) x/1xw 0x7fffffffe2e80x7fffffffe2e8: 0x00400523(gdb) set *((int *) 0x7fffffffe2e8) = 0x00400528(gdb) x/1xw 0x7fffffffe2e80x7fffffffe2e8: 0x00400528然后我們再執(zhí)行stepi

(gdb) stepimain () at main.c:1414 }(gdb) info registers riprip 0x400528 0x400528 (gdb) disassembleDump of assembler code for function main: 0x0000000000400501 <+0>: push %rbp 0x0000000000400502 <+1>: mov %rsp,%rbp 0x0000000000400505 <+4>: sub $0x10,%rsp 0x0000000000400509 <+8>: movl $0x3,-0x4(%rbp) 0x0000000000400510 <+15>: addl $0x3,-0x4(%rbp) 0x0000000000400514 <+19>: mov -0x4(%rbp),%eax 0x0000000000400517 <+22>: mov $0x2,%esi 0x000000000040051c <+27>: mov %eax,%edi 0x000000000040051e <+29>: callq 0x4004ed 0x0000000000400523 <+34>: mov $0x0,%eax=> 0x0000000000400528 <+39>: leaveq 0x0000000000400529 <+40>: retqEnd of assembler dump.

瞧，這下是不是直接走到了leaveq，而不是剛才的mov？我們輕松的黑了一把。

好了，到這里就真的結(jié)束了，希望大家有所收獲。