學(xué)會Linux內(nèi)核調(diào)試方法！

目錄[-]

一 ?調(diào)試前的準(zhǔn)備

二 ?內(nèi)核中的bug

三 ?內(nèi)核調(diào)試配置選項

1 ?內(nèi)核配置

2 ?調(diào)試原子操作

四 ?引發(fā)bug并打印信息

1 ?BUG()和BUG_ON()

2 ?dump_stack()

五 ?printk()

1 ?printk函數(shù)的健壯性

2 ?printk函數(shù)脆弱之處

3 ?LOG等級

4 ?記錄緩沖區(qū)

5 ?syslogd/klogd

6 ?dmesg

7 注意?

8 內(nèi)核printk和日志系統(tǒng)的總體結(jié)構(gòu)

9 ?動態(tài)調(diào)試

六 ?內(nèi)存調(diào)試工具

1 ?MEMWATCH

2 ?YAMD

3 ?Electric Fence

七 ?strace

八 ?OOPS

1 ?ksymoops

2 ?kallsyms

3 ?Kdump

九 ?KGDB

1 ?kgdb的調(diào)試原理

2 ?Kgdb的安裝與設(shè)置

3 ?在VMware中搭建調(diào)試環(huán)境

4 ?kgdb的一些特點和不足

十 ?使用SkyEye構(gòu)建Linux內(nèi)核調(diào)試環(huán)境

1 ?SkyEye的安裝和μcLinux內(nèi)核編譯

2 ?使用SkyEye調(diào)試

3 ?使用SkyEye調(diào)試內(nèi)核的特點和不足

十一 ?KDB

1 ?入門

2 ?初始化并設(shè)置環(huán)境變量

3 ?激活 KDB

4 ?KDB 命令

5 ?技巧和訣竅

6 ?結(jié)束語

十二 ?Kprobes

1 ?安裝

2 ?編寫 Kprobes 模塊

3 ?使用 Kprobes 更好地進(jìn)行調(diào)試

內(nèi)核開發(fā)比用戶空間開發(fā)更難的一個因素就是內(nèi)核調(diào)試艱難。內(nèi)核錯誤往往會導(dǎo)致系統(tǒng)宕機(jī)，很難保留出錯時的現(xiàn)場。調(diào)試內(nèi)核的關(guān)鍵在于你的對內(nèi)核的深刻理解。?

一 ?調(diào)試前的準(zhǔn)備

在調(diào)試一個bug之前，我們所要做的準(zhǔn)備工作有：?

有一個被確認(rèn)的bug。

包含這個bug的內(nèi)核版本號，需要分析出這個bug在哪一個版本被引入，這個對于解決問題有極大的幫助。可以采用二分查找法來逐步鎖定bug引入版本號。

對內(nèi)核代碼理解越深刻越好，同時還需要一點點運(yùn)氣。

該bug可以復(fù)現(xiàn)。如果能夠找到復(fù)現(xiàn)規(guī)律，那么離找到問題的原因就不遠(yuǎn)了。

最小化系統(tǒng)。把可能產(chǎn)生bug的因素逐一排除掉。

二 ?內(nèi)核中的bug

內(nèi)核中的bug也是多種多樣的。它們的產(chǎn)生有無數(shù)的原因，同時表象也變化多端。從隱藏在源代碼中的錯誤到展現(xiàn)在目擊者面前的bug，其發(fā)作往往是一系列連鎖反應(yīng)的事件才可能出發(fā)的。雖然內(nèi)核調(diào)試有一定的困難，但是通過你的努力和理解，說不定你會喜歡上這樣的挑戰(zhàn)。?

三 ?內(nèi)核調(diào)試配置選項

學(xué)習(xí)編寫驅(qū)動程序要構(gòu)建安裝自己的內(nèi)核（標(biāo)準(zhǔn)主線內(nèi)核）。最重要的原因之一是：內(nèi)核開發(fā)者已經(jīng)建立了多項用于調(diào)試的功能。但是由于這些功能會造成額外的輸出，并導(dǎo)致能下降，因此發(fā)行版廠商通常會禁止發(fā)行版內(nèi)核中的調(diào)試功能。?

1 ?內(nèi)核配置

為了實現(xiàn)內(nèi)核調(diào)試，在內(nèi)核配置上增加了幾項：

Kernel hacking ---> [*] Magic SysRq key [*] Kernel debugging [*] Debug slab memory allocations [*] Spinlock and rw-lock debugging: basic checks [*] Spinlock debugging: sleep-inside-spinlock checking [*] Compile the kernel with debug info Device Drivers ---> Generic Driver Options ---> [*] Driver Core verbose debug messages General setup ---> [*] Configure standard kernel features (for small systems) ---> [*] Load all symbols for debugging/ksymoops

啟用選項例如：?

slab layer debugging（slab層調(diào)試選項） high-memory debugging（高端內(nèi)存調(diào)試選項） I/O mapping debugging（I/O映射調(diào)試選項） spin-lock debugging（自旋鎖調(diào)試選項） stack-overflow checking（棧溢出檢查選項） sleep-inside-spinlock checking（自旋鎖內(nèi)睡眠選項）

2 ?調(diào)試原子操作

從內(nèi)核2.5開發(fā)，為了檢查各類由原子操作引發(fā)的問題，內(nèi)核提供了極佳的工具。?
內(nèi)核提供了一個原子操作計數(shù)器，它可以配置成，一旦在原子操作過程中，進(jìn)城進(jìn)入睡眠或者做了一些可能引起睡眠的操作，就打印警告信息并提供追蹤線索。?
所以，包括在使用鎖的時候調(diào)用schedule()，正使用鎖的時候以阻塞方式請求分配內(nèi)存等，各種潛在的bug都能夠被探測到。?
下面這些選項可以最大限度地利用該特性：?

CONFIG_PREEMPT = y CONFIG_DEBUG_KERNEL = y CONFIG_KLLSYMS = y CONFIG_SPINLOCK_SLEEP = y

四 ?引發(fā)bug并打印信息

1 ?BUG()和BUG_ON()

一些內(nèi)核調(diào)用可以用來方便標(biāo)記bug，提供斷言并輸出信息。最常用的兩個是BUG()和BUG_ON()。

定義在中：

#ifndef HAVE_ARCH_BUG #define BUG() do { printk("BUG: failure at %s:%d/%s()! ", __FILE__, __LINE__, __FUNCTION__); panic("BUG!"); /* 引發(fā)更嚴(yán)重的錯誤，不但打印錯誤消息，而且整個系統(tǒng)業(yè)會掛起 */ } while (0) #endif #ifndef HAVE_ARCH_BUG_ON #define BUG_ON(condition) do { if (unlikely(condition)) BUG(); } while(0) #endif

當(dāng)調(diào)用這兩個宏的時候，它們會引發(fā)OOPS，導(dǎo)致棧的回溯和錯誤消息的打印。?
※ 可以把這兩個調(diào)用當(dāng)作斷言使用，如：BUG_ON(bad_thing);?

2.WARN(x) 和 WARN_ON(x)

而WARN_ON則是調(diào)用dump_stack，打印堆棧信息，不會OOPS

定義在中：

#ifndef __WARN_TAINT#ifndef __ASSEMBLY__extern void warn_slowpath_fmt(const char *file, const int line, const char *fmt, ...) __attribute__((format(printf, 3, 4)));extern void warn_slowpath_fmt_taint(const char *file, const int line, unsigned taint, const char *fmt, ...) __attribute__((format(printf, 4, 5)));extern void warn_slowpath_null(const char *file, const int line);#define WANT_WARN_ON_SLOWPATH#endif#define __WARN() warn_slowpath_null(__FILE__, __LINE__)#define __WARN_printf(arg...) warn_slowpath_fmt(__FILE__, __LINE__, arg)#define __WARN_printf_taint(taint, arg...) warn_slowpath_fmt_taint(__FILE__, __LINE__, taint, arg)#else#define __WARN() __WARN_TAINT(TAINT_WARN)#define __WARN_printf(arg...) do { printk(arg); __WARN(); } while (0)#define __WARN_printf_taint(taint, arg...) do { printk(arg); __WARN_TAINT(taint); } while (0)#endif#ifndef WARN_ON#define WARN_ON(condition) ({ int __ret_warn_on = !!(condition); if (unlikely(__ret_warn_on)) __WARN(); unlikely(__ret_warn_on); })#endif#ifndef WARN#define WARN(condition, format...) ({ int __ret_warn_on = !!(condition); if (unlikely(__ret_warn_on)) __WARN_printf(format); unlikely(__ret_warn_on); })#endif

3 dump_stack()

有些時候，只需要在終端上打印一下棧的回溯信息來幫助你調(diào)試。這時可以使用dump_stack()。這個函數(shù)只在終端上打印寄存器上下文和函數(shù)的跟蹤線索。?

if (!debug_check) { printk(KERN_DEBUG “provide some information…/n”); dump_stack(); }

五 ?printk()

內(nèi)核提供的格式化打印函數(shù)。?

1 ?printk函數(shù)的健壯性

健壯性是printk最容易被接受的一個特質(zhì)，幾乎在任何地方，任何時候內(nèi)核都可以調(diào)用它（中斷上下文、進(jìn)程上下文、持有鎖時、多處理器處理時等）。?

2 ?printk函數(shù)脆弱之處

在系統(tǒng)啟動過程中，終端初始化之前，在某些地方是不能調(diào)用的。如果真的需要調(diào)試系統(tǒng)啟動過程最開始的地方，有以下方法可以使用：?

使用串口調(diào)試，將調(diào)試信息輸出到其他終端設(shè)備。

使用early_printk()，該函數(shù)在系統(tǒng)啟動初期就有打印能力。但它只支持部分硬件體系。

3 ?LOG等級

printk和printf一個主要的區(qū)別就是前者可以指定一個LOG等級。內(nèi)核根據(jù)這個等級來判斷是否在終端上打印消息。內(nèi)核把比指定等級高的所有消息顯示在終端。?
???????可以使用下面的方式指定一個LOG級別：?
printk(KERN_CRIT ?“Hello, world! ”);?
注意，第一個參數(shù)并不一個真正的參數(shù)，因為其中沒有用于分隔級別（KERN_CRIT）和格式字符的逗號（,）。KERN_CRIT本身只是一個普通的字符串（事實上，它表示的是字符串 "<2>"；表 1 列出了完整的日志級別清單）。作為預(yù)處理程序的一部分，C 會自動地使用一個名為 字符串串聯(lián) 的功能將這兩個字符串組合在一起。組合的結(jié)果是將日志級別和用戶指定的格式字符串包含在一個字符串中。?

內(nèi)核使用這個指定LOG級別與當(dāng)前終端LOG等級console_loglevel來決定是不是向終端打印。?
下面是可使用的LOG等級：?

#define KERN_EMERG "<0>" /* system is unusable */#define KERN_ALERT "<1>" /* action must be taken immediately */ #define KERN_CRIT "<2>" /* critical conditions */#define KERN_ERR "<3>" /* error conditions */#define KERN_WARNING "<4>" /* warning conditions */#define KERN_NOTICE "<5>" /* normal but significant condition */#define KERN_INFO "<6>" /* informational */#define KERN_DEBUG "<7>" /* debug-level messages */#define KERN_DEFAULT "" /* Use the default kernel loglevel */

注意，如果調(diào)用者未將日志級別提供給 printk，那么系統(tǒng)就會使用默認(rèn)值 KERN_WARNING "<4>"（表示只有KERN_WARNING 級別以上的日志消息會被記錄）。由于默認(rèn)值存在變化，所以在使用時最好指定LOG級別。有LOG級別的一個好處就是我們可以選擇性的輸出LOG。比如平時我們只需要打印KERN_WARNING級別以上的關(guān)鍵性LOG，但是調(diào)試的時候，我們可以選擇打印KERN_DEBUG等以上的詳細(xì)LOG。而這些都不需要我們修改代碼，只需要通過命令修改默認(rèn)日志輸出級別：?

mtj@ubuntu :~$ cat /proc/sys/kernel/printk4 4 1 7mtj@ubuntu :~$ cat /proc/sys/kernel/printk_delay0mtj@ubuntu :~$ cat /proc/sys/kernel/printk_ratelimit5mtj@ubuntu :~$ cat /proc/sys/kernel/printk_ratelimit_burst10

第一項定義了 printk API 當(dāng)前使用的日志級別。這些日志級別表示了控制臺的日志級別、默認(rèn)消息日志級別、最小控制臺日志級別和默認(rèn)控制臺日志級別。printk_delay 值表示的是 printk 消息之間的延遲毫秒數(shù)（用于提高某些場景的可讀性）。注意，這里它的值為 0，而它是不可以通過 /proc 設(shè)置的。printk_ratelimit 定義了消息之間允許的最小時間間隔（當(dāng)前定義為每 5 秒內(nèi)的某個內(nèi)核消息數(shù)）。消息數(shù)量是由 printk_ratelimit_burst 定義的（當(dāng)前定義為 10）。如果您擁有一個非正式內(nèi)核而又使用有帶寬限制的控制臺設(shè)備（如通過串口）， 那么這非常有用。注意，在內(nèi)核中，速度限制是由調(diào)用者控制的，而不是在printk 中實現(xiàn)的。如果一個 printk 用戶要求進(jìn)行速度限制，那么該用戶就需要調(diào)用printk_ratelimit 函數(shù)。?

4 ?記錄緩沖區(qū)

內(nèi)核消息都被保存在一個LOG_BUF_LEN大小的環(huán)形隊列中。?
??關(guān)于LOG_BUF_LEN定義：?

#define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)

※ 變量CONFIG_LOG_BUF_SHIFT在內(nèi)核編譯時由配置文件定義，對于i386平臺，其值定義如下（在linux26/arch/i386/defconfig中）：?

CONFIG_LOG_BUF_SHIFT=18

記錄緩沖區(qū)操作：?
??① 消息被讀出到用戶空間時，此消息就會從環(huán)形隊列中刪除。?
??② 當(dāng)消息緩沖區(qū)滿時，如果再有printk()調(diào)用時，新消息將覆蓋隊列中的老消息。?
??③ 在讀寫環(huán)形隊列時，同步問題很容易得到解決。?

※ 這個紀(jì)錄緩沖區(qū)之所以稱為環(huán)形，是因為它的讀寫都是按照環(huán)形隊列的方式進(jìn)行操作的。

5 ?syslogd/klogd

在標(biāo)準(zhǔn)的Linux系統(tǒng)上，用戶空間的守護(hù)進(jìn)程klogd從紀(jì)錄緩沖區(qū)中獲取內(nèi)核消息，再通過syslogd守護(hù)進(jìn)程把這些消息保存在系統(tǒng)日志文件中。klogd進(jìn)程既可以從/proc/kmsg文件中，也可以通過syslog()系統(tǒng)調(diào)用讀取這些消息。默認(rèn)情況下，它選擇讀取/proc方式實現(xiàn)。klogd守護(hù)進(jìn)程在消息緩沖區(qū)有新的消息之前，一直處于阻塞狀態(tài)。一旦有新的內(nèi)核消息，klogd被喚醒，讀出內(nèi)核消息并進(jìn)行處理。默認(rèn)情況下，處理例程就是把內(nèi)核消息傳給syslogd守護(hù)進(jìn)程。syslogd守護(hù)進(jìn)程一般把接收到的消息寫入/var/log/messages文件中。不過，還是可以通過/etc/syslog.conf文件來進(jìn)行配置，可以選擇其他的輸出文件。

6 ?dmesg

dmesg 命令也可用于打印和控制內(nèi)核環(huán)緩沖區(qū)。這個命令使用 klogctl 系統(tǒng)調(diào)用來讀取內(nèi)核環(huán)緩沖區(qū)，并將它轉(zhuǎn)發(fā)到標(biāo)準(zhǔn)輸出（stdout）。這個命令也可以用來清除內(nèi)核環(huán)緩沖區(qū)（使用 -c 選項），設(shè)置控制臺日志級別（-n 選項），以及定義用于讀取內(nèi)核日志消息的緩沖區(qū)大?。?s 選項）。注意，如果沒有指定緩沖區(qū)大小，那么 dmesg 會使用 klogctl 的SYSLOG_ACTION_SIZE_BUFFER 操作確定緩沖區(qū)大小。?

7 注意?

a) 雖然printk很健壯，但是看了源碼你就知道，這個函數(shù)的效率很低：做字符拷貝時一次只拷貝一個字節(jié)，且去調(diào)用console輸出可能還產(chǎn)生中斷。所以如果你的驅(qū)動在功能調(diào)試完成以后做性能測試或者發(fā)布的時候千萬記得盡量減少printk輸出，做到僅在出錯時輸出少量信息。否則往console輸出無用信息影響性能。?
b) printk的臨時緩存printk_buf只有1K，所有一次printk函數(shù)只能記錄<1K的信息到log buffer，并且printk使用的“ringbuffer”.?
?

8 內(nèi)核printk和日志系統(tǒng)的總體結(jié)構(gòu)

9 ?動態(tài)調(diào)試

動態(tài)調(diào)試是通過動態(tài)的開啟和禁止某些內(nèi)核代碼來獲取額外的內(nèi)核信息。?
首先內(nèi)核選項CONFIG_DYNAMIC_DEBUG應(yīng)該被設(shè)置。所有通過pr_debug()/dev_debug()打印的信息都可以動態(tài)的顯示或不顯示。?
可以通過簡單的查詢語句來篩選需要顯示的信息。?

－源文件名

－函數(shù)名

－行號（包括指定范圍的行號）

－模塊名

－格式化字符串

將要打印信息的格式寫入/dynamic_debug/control中。?

nullarbor:~ # echo 'file svcsock.c line 1603 +p' > /dynamic_debug/control

參考：?
1 ??內(nèi)核日志及printk結(jié)構(gòu)淺析?--?Tekkaman Ninja?
2 ??內(nèi)核日志：API 及實現(xiàn)?
3 ??printk實現(xiàn)分析?
4 ??dynamic-debug-howto.txt?
?

六 ?內(nèi)存調(diào)試工具

1 ?MEMWATCH

MEMWATCH 由 Johan Lindh 編寫，是一個開放源代碼 C 語言內(nèi)存錯誤檢測工具，您可以自己下載它。只要在代碼中添加一個頭文件并在 gcc 語句中定義了 MEMWATCH 之后，您就可以跟蹤程序中的內(nèi)存泄漏和錯誤了。MEMWATCH 支持ANSIC，它提供結(jié)果日志紀(jì)錄，能檢測雙重釋放（double-free）、錯誤釋放（erroneous free）、沒有釋放的內(nèi)存（unfreedmemory）、溢出和下溢等等。?
清單 1. 內(nèi)存樣本（test1.c）

#include #include #include "memwatch.h"int main(void){ char *ptr1; char *ptr2; ptr1 = malloc(512); ptr2 = malloc(512); ptr2 = ptr1; free(ptr2); free(ptr1);}

清單 1 中的代碼將分配兩個 512 字節(jié)的內(nèi)存塊，然后指向第一個內(nèi)存塊的指針被設(shè)定為指向第二個內(nèi)存塊。結(jié)果，第二個內(nèi)存塊的地址丟失，從而產(chǎn)生了內(nèi)存泄漏。?
現(xiàn)在我們編譯清單 1 的 memwatch.c。下面是一個 makefile 示例：?
test1

gcc -DMEMWATCH -DMW_STDIO test1.c memwatchc -o test1

當(dāng)您運(yùn)行 test1 程序后，它會生成一個關(guān)于泄漏的內(nèi)存的報告。清單 2 展示了示例 memwatch.log 輸出文件。?

清單 2. test1 memwatch.log 文件

MEMWATCH 2.67 Copyright (C) 1992-1999 Johan Lindh...double-free: <4> test1.c(15), 0x80517b4 was freed from test1.c(14)...unfreed: <2> test1.c(11), 512 bytes at 0x80519e4{FE FE FE FE FE FE FE FE FE FE FE FE ..............}Memory usage statistics (global): N)umber of allocations made: 2 L)argest memory usage : 1024 T)otal of all alloc() calls: 1024 U)nfreed bytes totals : 512

MEMWATCH 為您顯示真正導(dǎo)致問題的行。如果您釋放一個已經(jīng)釋放過的指針，它會告訴您。對于沒有釋放的內(nèi)存也一樣。日志結(jié)尾部分顯示統(tǒng)計信息，包括泄漏了多少內(nèi)存，使用了多少內(nèi)存，以及總共分配了多少內(nèi)存。

2 ?YAMD

YAMD 軟件包由 Nate Eldredge 編寫，可以查找 C 和 C++ 中動態(tài)的、與內(nèi)存分配有關(guān)的問題。在撰寫本文時，YAMD 的最新版本為 0.32。請下載 yamd-0.32.tar.gz。執(zhí)行 make 命令來構(gòu)建程序；然后執(zhí)行 make install 命令安裝程序并設(shè)置工具。?
一旦您下載了 YAMD 之后，請在 test1.c 上使用它。請刪除 #include memwatch.h 并對 makefile 進(jìn)行如下小小的修改：
使用 YAMD 的 test1

gcc -g test1.c -o test1

清單 3 展示了來自 test1 上的 YAMD 的輸出。?
清單 3. 使用 YAMD 的 test1 輸出

YAMD version 0.32Executable: /usr/src/test/yamd-0.32/test1...INFO: Normal allocation of this blockAddress 0x40025e00, size 512...INFO: Normal allocation of this blockAddress 0x40028e00, size 512...INFO: Normal deallocation of this blockAddress 0x40025e00, size 512...ERROR: Multiple freeing Atfree of pointer already freedAddress 0x40025e00, size 512...WARNING: Memory leakAddress 0x40028e00, size 512WARNING: Total memory leaks:1 unfreed allocations totaling 512 bytes*** Finished at Tue ... 10:07:15 2002Allocated a grand total of 1024 bytes 2 allocationsAverage of 512 bytes per allocationMax bytes allocated at one time: 102424 K alloced internally / 12 K mapped now / 8 K maxVirtual program size is 1416 KEnd.

YAMD 顯示我們已經(jīng)釋放了內(nèi)存，而且存在內(nèi)存泄漏。讓我們在清單 4 中另一個樣本程序上試試 YAMD。?
清單 4. 內(nèi)存代碼（test2.c）

#include #include int main(void){ char *ptr1; char *ptr2; char *chptr; int i = 1; ptr1 = malloc(512); ptr2 = malloc(512); chptr = (char *)malloc(512); for (i; i <= 512; i++) { chptr[i] = 'S'; } ptr2 = ptr1; free(ptr2); free(ptr1); free(chptr);}

您可以使用下面的命令來啟動 YAMD：?

./run-yamd /usr/src/test/test2/test2

清單 5 顯示了在樣本程序 test2 上使用 YAMD 得到的輸出。YAMD 告訴我們在 for 循環(huán)中有“越界（out-of-bounds）”的情況。?
清單 5. 使用 YAMD 的 test2 輸出

Running /usr/src/test/test2/test2Temp output to /tmp/yamd-out.1243*********./run-yamd: line 101: 1248 Segmentation fault (core dumped)YAMD version 0.32Starting run: /usr/src/test/test2/test2Executable: /usr/src/test/test2/test2Virtual program size is 1380 K...INFO: Normal allocation of this blockAddress 0x40025e00, size 512...INFO: Normal allocation of this blockAddress 0x40028e00, size 512...INFO: Normal allocation of this blockAddress 0x4002be00, size 512ERROR: Crash...Tried to write address 0x4002c000Seems to be part of this block:Address 0x4002be00, size 512...Address in question is at offset 512 (out of bounds)Will dump core after checking heap.Done.

MEMWATCH 和 YAMD 都是很有用的調(diào)試工具，它們的使用方法有所不同。對于 MEMWATCH，您需要添加包含文件memwatch.h 并打開兩個編譯時間標(biāo)記。對于鏈接（link）語句，YAMD 只需要 -g 選項。?

3 ?Electric Fence

多數(shù) Linux 分發(fā)版包含一個 Electric Fence 包，不過您也可以選擇下載它。Electric Fence 是一個由 Bruce Perens 編寫的malloc()調(diào)試庫。它就在您分配內(nèi)存后分配受保護(hù)的內(nèi)存。如果存在 fencepost 錯誤（超過數(shù)組末尾運(yùn)行），程序就會產(chǎn)生保護(hù)錯誤，并立即結(jié)束。通過結(jié)合 Electric Fence 和 gdb，您可以精確地跟蹤到哪一行試圖訪問受保護(hù)內(nèi)存。ElectricFence 的另一個功能就是能夠檢測內(nèi)存泄漏。?

七 ?strace

strace 命令是一種強(qiáng)大的工具，它能夠顯示所有由用戶空間程序發(fā)出的系統(tǒng)調(diào)用。strace 顯示這些調(diào)用的參數(shù)并返回符號形式的值。strace 從內(nèi)核接收信息，而且不需要以任何特殊的方式來構(gòu)建內(nèi)核。將跟蹤信息發(fā)送到應(yīng)用程序及內(nèi)核開發(fā)者都很有用。在清單 6 中，分區(qū)的一種格式有錯誤，清單顯示了 strace 的開頭部分，內(nèi)容是關(guān)于調(diào)出創(chuàng)建文件系統(tǒng)操作（mkfs ）的。strace 確定哪個調(diào)用導(dǎo)致問題出現(xiàn)。?
清單 6. mkfs 上 strace 的開頭部分

execve("/sbin/mkfs.jfs", ["mkfs.jfs", "-f", "/dev/test1"], &...open("/dev/test1", O_RDWR|O_LARGEFILE) = 4stat64("/dev/test1", {st_mode=&, st_rdev=makedev(63, 255), ...}) = 0ioctl(4, 0x40041271, 0xbfffe128) = -1 EINVAL (Invalid argument)write(2, "mkfs.jfs: warning - cannot setb" ..., 98mkfs.jfs: warning -cannot set blocksize on block device /dev/test1: Invalid argument ) = 98stat64("/dev/test1", {st_mode=&, st_rdev=makedev(63, 255), ...}) = 0open("/dev/test1", O_RDONLY|O_LARGEFILE) = 5ioctl(5, 0x80041272, 0xbfffe124) = -1 EINVAL (Invalid argument)write(2, "mkfs.jfs: can't determine device"..., ..._exit(1) = ?

清單 6 顯示 ioctl 調(diào)用導(dǎo)致用來格式化分區(qū)的 mkfs 程序失敗。 ioctl BLKGETSIZE64 失敗。（ BLKGET-SIZE64 在調(diào)用 ioctl的源代碼中定義。) BLKGETSIZE64 ioctl 將被添加到 Linux 中所有的設(shè)備，而在這里，邏輯卷管理器還不支持它。因此，如果BLKGETSIZE64 ioctl 調(diào)用失敗，mkfs 代碼將改為調(diào)用較早的 ioctl 調(diào)用；這使得 mkfs 適用于邏輯卷管理器。?
參考：?
http://www.ibm.com/developerworks/cn/linux/sdk/l-debug/index.html#resources?

八 ?OOPS

OOPS（也稱 Panic）消息包含系統(tǒng)錯誤的細(xì)節(jié)，如 CPU 寄存器的內(nèi)容等。是內(nèi)核告知用戶有不幸發(fā)生的最常用的方式。?
內(nèi)核只能發(fā)布OOPS，這個過程包括向終端上輸出錯誤消息，輸出寄存器保存的信息，并輸出可供跟蹤的回溯線索。通常，發(fā)送完OOPS之后，內(nèi)核會處于一種不穩(wěn)定的狀態(tài)。?
OOPS的產(chǎn)生有很多可能原因，其中包括內(nèi)存訪問越界或非法的指令等。?

※ 作為內(nèi)核的開發(fā)者，必定將會經(jīng)常處理OOPS。

※ OOPS中包含的重要信息，對所有體系結(jié)構(gòu)的機(jī)器都是完全相同的：寄存器上下文和回溯線索（回溯線索顯示了導(dǎo)致錯誤發(fā)生的函數(shù)調(diào)用鏈）。

1 ?ksymoops

在 Linux 中，調(diào)試系統(tǒng)崩潰的傳統(tǒng)方法是分析在發(fā)生崩潰時發(fā)送到系統(tǒng)控制臺的 Oops 消息。一旦您掌握了細(xì)節(jié)，就可以將消息發(fā)送到 ksymoops 實用程序，它將試圖將代碼轉(zhuǎn)換為指令并將堆棧值映射到內(nèi)核符號。?

※ 如：回溯線索中的地址，會通過ksymoops轉(zhuǎn)化成名稱可見的函數(shù)名。

ksymoops需要幾項內(nèi)容：Oops 消息輸出、來自正在運(yùn)行的內(nèi)核的 System.map 文件，還有 /proc/ksyms、vmlinux和/proc/modules。?
關(guān)于如何使用 ksymoops，內(nèi)核源代碼 /usr/src/linux/Documentation/oops-tracing.txt 中或 ksymoops 手冊頁上有完整的說明可以參考。Ksymoops 反匯編代碼部分，指出發(fā)生錯誤的指令，并顯示一個跟蹤部分表明代碼如何被調(diào)用。?

首先，將 Oops 消息保存在一個文件中以便通過 ksymoops 實用程序運(yùn)行它。清單 7 顯示了由安裝 JFS 文件系統(tǒng)的 mount命令創(chuàng)建的 Oops 消息。?
清單 7. ksymoops 處理后的 Oops 消息

ksymoops 2.4.0 on i686 2.4.17. Options used... 15:59:37 sfb1 kernel: Unable to handle kernel NULL pointer dereference atvirtual address 0000000... 15:59:37 sfb1 kernel: c01588fc... 15:59:37 sfb1 kernel: *pde = 0000000... 15:59:37 sfb1 kernel: Oops: 0000... 15:59:37 sfb1 kernel: CPU: 0... 15:59:37 sfb1 kernel: EIP: 0010:[jfs_mount+60/704]... 15:59:37 sfb1 kernel: Call Trace: [jfs_read_super+287/688] [get_sb_bdev+563/736] [do_kern_mount+189/336] [do_add_mount+35/208][do_page_fault+0/1264]... 15:59:37 sfb1 kernel: Call Trace: []...... 15:59:37 sfb1 kernel: [>EIP; c01588fc <=====...Trace; c0106cf3 33/40>Code; c01588fc 00000000 <_EIP>:Code; c01588fc <===== 0: 8b 2d 00 00 00 00 mov 0x0,%ebp <=====Code; c0158902 42/2c0> 6: 55 push %ebp

接下來，您要確定 jfs_mount 中的哪一行代碼引起了這個問題。Oops 消息告訴我們問題是由位于偏移地址 3c 的指令引起的。做這件事的辦法之一是對 jfs_mount.o 文件使用 objdump 實用程序，然后查看偏移地址 3c。Objdump 用來反匯編模塊函數(shù)，看看您的 C 源代碼會產(chǎn)生什么匯編指令。清單 8 顯示了使用 objdump 后您將看到的內(nèi)容，接著，我們查看jfs_mount 的 C 代碼，可以看到空值是第 109 行引起的。偏移地址 3c 之所以很重要，是因為 Oops 消息將該處標(biāo)識為引起問題的位置。?
清單 8. jfs_mount 的匯編程序清單

109 printk("%d ",*ptr);objdump jfs_mount.ojfs_mount.o: file format elf32-i386Disassembly of section .text:00000000 : 0:55 push %ebp ... 2c: e8 cf 03 00 00 call 400 31: 89 c3 mov %eax,%ebx 33: 58 pop %eax 34: 85 db test %ebx,%ebx 36: 0f 85 55 02 00 00 jne 291 0x291> 3c: 8b 2d 00 00 00 00 mov 0x0,%ebp << problem line above 42: 55 push %ebp

2 ?kallsyms

開發(fā)版2.5內(nèi)核引入了kallsyms特性，它可以通過定義CONFIG_KALLSYMS編譯選項啟用。該選項可以載入內(nèi)核鏡像所對應(yīng)的內(nèi)存地址的符號名稱（即函數(shù)名），所以內(nèi)核可以打印解碼之后的跟蹤線索。相應(yīng)，解碼OOPS也不再需要System.map和ksymoops工具了。另外，?
這樣做，會使內(nèi)核變大些，因為地址對應(yīng)符號名稱必須始終駐留在內(nèi)核所在內(nèi)存上。?

#cat /proc/kallsyms c0100240 T _stext c0100240 t run_init_process c0100240 T stext c0100269 t init …

3 ?Kdump

3.1 ?Kdump 的基本概念

3.1.1 ?什么是 kexec ？

Kexec 是實現(xiàn) kdump 機(jī)制的關(guān)鍵，它包括 2 個組成部分：一是內(nèi)核空間的系統(tǒng)調(diào)用 kexec_load，負(fù)責(zé)在生產(chǎn)內(nèi)核（production kernel 或 first kernel）啟動時將捕獲內(nèi)核（capture kernel 或 sencond kernel）加載到指定地址。二是用戶空間的工具 kexec-tools，他將捕獲內(nèi)核的地址傳遞給生產(chǎn)內(nèi)核，從而在系統(tǒng)崩潰的時候能夠找到捕獲內(nèi)核的地址并運(yùn)行。沒有 kexec 就沒有 kdump。先有 kexec 實現(xiàn)了在一個內(nèi)核中可以啟動另一個內(nèi)核，才讓 kdump 有了用武之地。kexec 原來的目的是為了節(jié)省 kernel 開發(fā)人員重啟系統(tǒng)的時間，誰能想到這個“偷懶”的技術(shù)卻孕育了最成功的內(nèi)存轉(zhuǎn)存機(jī)制呢？

3.1.2 ?什么是 kdump ？

Kdump 的概念出現(xiàn)在 2005 左右，是迄今為止最可靠的內(nèi)核轉(zhuǎn)存機(jī)制，已經(jīng)被主要的 linux? 廠商選用。kdump是一種先進(jìn)的基于 kexec 的內(nèi)核崩潰轉(zhuǎn)儲機(jī)制。當(dāng)系統(tǒng)崩潰時，kdump 使用 kexec 啟動到第二個內(nèi)核。第二個內(nèi)核通常叫做捕獲內(nèi)核，以很小內(nèi)存啟動以捕獲轉(zhuǎn)儲鏡像。第一個內(nèi)核保留了內(nèi)存的一部分給第二內(nèi)核啟動用。由于 kdump 利用 kexec 啟動捕獲內(nèi)核，繞過了 BIOS，所以第一個內(nèi)核的內(nèi)存得以保留。這是內(nèi)核崩潰轉(zhuǎn)儲的本質(zhì)。

kdump 需要兩個不同目的的內(nèi)核，生產(chǎn)內(nèi)核和捕獲內(nèi)核。生產(chǎn)內(nèi)核是捕獲內(nèi)核服務(wù)的對像。捕獲內(nèi)核會在生產(chǎn)內(nèi)核崩潰時啟動起來，與相應(yīng)的 ramdisk 一起組建一個微環(huán)境，用以對生產(chǎn)內(nèi)核下的內(nèi)存進(jìn)行收集和轉(zhuǎn)存。

3.1.3 ?如何使用 kdump

構(gòu)建系統(tǒng)和 dump-capture 內(nèi)核，此操作有 2 種方式可選：

1）構(gòu)建一個單獨的自定義轉(zhuǎn)儲捕獲內(nèi)核以捕獲內(nèi)核轉(zhuǎn)儲；

2） 或者將系統(tǒng)內(nèi)核本身作為轉(zhuǎn)儲捕獲內(nèi)核，這就不需要構(gòu)建一個單獨的轉(zhuǎn)儲捕獲內(nèi)核。

方法（2）只能用于可支持可重定位內(nèi)核的體系結(jié)構(gòu)上；目前 i386，x86_64，ppc64 和 ia64 體系結(jié)構(gòu)支持可重定位內(nèi)核。構(gòu)建一個可重定位內(nèi)核使得不需要構(gòu)建第二個內(nèi)核就可以捕獲轉(zhuǎn)儲。但是可能有時想構(gòu)建一個自定義轉(zhuǎn)儲捕獲內(nèi)核以滿足特定要求。

3.1.4 ?如何訪問捕獲內(nèi)存

在內(nèi)核崩潰之前所有關(guān)于核心映像的必要信息都用 ELF 格式編碼并存儲在保留的內(nèi)存區(qū)域中。ELF 頭所在的物理地址被作為命令行參數(shù)（fcorehdr=）傳遞給新啟動的轉(zhuǎn)儲內(nèi)核。

在 i386 體系結(jié)構(gòu)上，啟動的時候需要使用物理內(nèi)存開始的 640K，而不管操作系統(tǒng)內(nèi)核轉(zhuǎn)載在何處。因此，這個640K 的區(qū)域在重新啟動第二個內(nèi)核的時候由 kexec 備份。

在第二個內(nèi)核中，“前一個系統(tǒng)的內(nèi)存”可以通過兩種方式訪問：

1） 通過 /dev/oldmem 這個設(shè)備接口。

一個“捕捉”設(shè)備可以使用“raw”（裸的）方式 “讀”這個設(shè)備文件并寫出到文件。這是關(guān)于內(nèi)存的 “裸”的數(shù)據(jù)轉(zhuǎn)儲，同時這些分析 / 捕捉工具應(yīng)該足夠“智能”從而可以知道從哪里可以得到正確的信息。ELF 文件頭（通過命令行參數(shù)傳遞過來的 elfcorehdr）可能會有幫助。

2） 通過 /proc/vmcore。

這個方式是將轉(zhuǎn)儲輸出為一個 ELF 格式的文件，并且可以使用一些文件拷貝命令（比如 cp，scp 等）將信息讀出來。同時，gdb 可以在得到的轉(zhuǎn)儲文件上做一些調(diào)試（有限的）。這種方式保證了內(nèi)存中的頁面都以正確的途徑被保存 ( 注意內(nèi)存開始的 640K 被重新映射了 )。

3.1.5 ?kdump 的優(yōu)勢

1）?高可靠性

崩潰轉(zhuǎn)儲數(shù)據(jù)可從一個新啟動內(nèi)核的上下文中獲取，而不是從已經(jīng)崩潰內(nèi)核的上下文。

2） 多版本支持

LKCD(Linux Kernel Crash Dump)，netdump，diskdump 已被納入 LDPs(Linux Documen-tation Project) 內(nèi)核。SUSE 和 RedHat 都對 kdump 有技術(shù)支持。

3.2 ?Kdump 實現(xiàn)流程

圖 1. RHEL6.2 執(zhí)行流程

圖 2. sles11 執(zhí)行流程

3.3 ?配置 kdump

3.3.1 ?安裝軟件包和實用程序

Kdump 用到的各種工具都在 kexec-tools 中。kernel-debuginfo 則是用來分析 vmcore 文件。從 rhel5 開始，kexec-tools 已被默認(rèn)安裝在發(fā)行版。而 novell 也在 sles10 發(fā)行版中把 kdump 集成進(jìn)來。所以如果使用的是rhel5 和 sles10 之后的發(fā)行版，那就省去了安裝 kexec-tools 的步驟。而如果需要調(diào)試 kdump 生成的 vmcore文件，則需要手動安裝 kernel-debuginfo 包。檢查安裝包操作：

3.3.2 參數(shù)相關(guān)設(shè)置 uli13lp1:/ # rpm -qa|grep kexec kexec-tools-2.0.0-53.43.10 uli13lp1:/ # rpm -qa 'kernel*debuginfo*' kernel-default-debuginfo-3.0.13-0.27.1 kernel-ppc64-debuginfo-3.0.13-0.27.1

系統(tǒng)內(nèi)核設(shè)置選項和轉(zhuǎn)儲捕獲內(nèi)核配置選擇在《使用 Crash 工具分析 Linux dump 文件》一文中已有說明，在此不再贅述。僅列出內(nèi)核引導(dǎo)參數(shù)設(shè)置以及配置文件設(shè)置。

1） 修改內(nèi)核引導(dǎo)參數(shù)，為啟動捕獲內(nèi)核預(yù)留內(nèi)存

通過下面的方法來配置 kdump 使用的內(nèi)存大小。添加啟動參數(shù)"crashkernel=Y@X"，這里，Y 是為 kdump 捕捉內(nèi)核保留的內(nèi)存，X 是保留部分內(nèi)存的開始位置。

對于 i386 和 x86_64, 編輯 /etc/grub.conf, 在內(nèi)核行的最后添加"crashkernel=128M" 。

對于 ppc64，在 /etc/yaboot.conf 最后添加"crashkernel=128M"。

在 ia64, 編輯 /etc/elilo.conf，添加"crashkernel=256M"到內(nèi)核行。

2） kdump 配置文件

kdump 的配置文件是 /etc/kdump.conf（RHEL6.2）；/etc/sysconfig/kdump(SLES11 sp2)。每個文件頭部都有選項說明，可以根據(jù)使用需求設(shè)置相應(yīng)的選項。

3.3.3 ?啟動 kdump 服務(wù)

在設(shè)置了預(yù)留內(nèi)存后，需要重啟機(jī)器，否則 kdump 是不可使用的。啟動 kdump 服務(wù)：

Rhel6.2：

# chkconfig kdump on # service kdump status Kdump is operational # service kdump start

SLES11SP2：

# chkconfig boot.kdump on # service boot.kdump start

3.3.4 ?測試配置是否有效

可以通過 kexec 加載內(nèi)核鏡像，讓系統(tǒng)準(zhǔn)備好去捕獲一個崩潰時產(chǎn)生的 vmcore?？梢酝ㄟ^ sysrq 強(qiáng)制系統(tǒng)崩潰。

# echo c > /proc/sysrq-trigger

這造成內(nèi)核崩潰，如配置有效，系統(tǒng)將重啟進(jìn)入 kdump 內(nèi)核，當(dāng)系統(tǒng)進(jìn)程進(jìn)入到啟動 kdump 服務(wù)的點時，vmcore 將會拷貝到你在 kdump 配置文件中設(shè)置的位置。RHEL 的缺省目錄是 : /var/crash；SLES 的缺省目錄是 : /var/log/dump。然后系統(tǒng)重啟進(jìn)入到正常的內(nèi)核。一旦回復(fù)到正常的內(nèi)核，就可以在上述的目錄下發(fā)現(xiàn) vmcore 文件，即內(nèi)存轉(zhuǎn)儲文件。可以使用之前安裝的 kernel-debuginfo 中的 crash 工具來進(jìn)行分析（crash 的更多詳細(xì)用法將在本系列后面的文章中有介紹）。

# crash /usr/lib/debug/lib/modules/2.6.17-1.2621.el5/vmlinux /var/crash/2006-08-23-15:34/vmcore crash> bt

3.4 ?載入“轉(zhuǎn)儲捕獲”內(nèi)核

需要引導(dǎo)系統(tǒng)內(nèi)核時，可使用如下步驟和命令載入“轉(zhuǎn)儲捕獲”內(nèi)核：

kexec -p --initrd=for-dump-capture-kernel> --args-linux --append="root= init 1 irqpoll"

裝載轉(zhuǎn)儲捕捉內(nèi)核的注意事項：

轉(zhuǎn)儲捕捉內(nèi)核應(yīng)當(dāng)是一個 vmlinux 格式的映像（即是一個未壓縮的 ELF 映像文件），而不能是 bzImage 格式；

默認(rèn)情況下，ELF 文件頭采用 ELF64 格式存儲以支持那些擁有超過 4GB 內(nèi)存的系統(tǒng)。但是可以指定“--elf32-core-headers”標(biāo)志以強(qiáng)制使用 ELF32 格式的 ELF 文件頭。這個標(biāo)志是有必要注意的，一個重要的原因就是：當(dāng)前版本的 GDB 不能在一個 32 位系統(tǒng)上打開一個使用 ELF64 格式的 vmcore 文件。ELF32 格式的文件頭不能使用在一個“沒有物理地址擴(kuò)展”（non-PAE）的系統(tǒng)上（即：少于 4GB 內(nèi)存的系統(tǒng)）;

一個“irqpoll”的啟動參數(shù)可以減低由于在“轉(zhuǎn)儲捕獲內(nèi)核”中使用了“共享中斷”技術(shù)而導(dǎo)致出現(xiàn)驅(qū)動初始化失敗這種情況發(fā)生的概率 ;

必須指定 ，指定的格式是和要使用根設(shè)備的名字。具體可以查看 mount 命令的輸出；“init 1”這個命令將啟動“轉(zhuǎn)儲捕捉內(nèi)核”到一個沒有網(wǎng)絡(luò)支持的單用戶模式。如果你希望有網(wǎng)絡(luò)支持，那么使用“init 3”。

3.5 ?后記

Kdump 是一個強(qiáng)大的、靈活的內(nèi)核轉(zhuǎn)儲機(jī)制，能夠在生產(chǎn)內(nèi)核上下文中執(zhí)行捕獲內(nèi)核是非常有價值的。本文僅介紹在 RHEL6.2 和 SLES11 中如何配置 kdump。望拋磚引玉，對閱讀本文的讀者有益。

參考：

1??kallsyms的分析?
2 ??深入探索 Kdump

九 ?KGDB

kgdb提供了一種使用 gdb調(diào)試 Linux 內(nèi)核的機(jī)制。使用KGDB可以象調(diào)試普通的應(yīng)用程序那樣，在內(nèi)核中進(jìn)行設(shè)置斷點、檢查變量值、單步跟蹤程序運(yùn)行等操作。使用KGDB調(diào)試時需要兩臺機(jī)器，一臺作為開發(fā)機(jī)（Development Machine）,另一臺作為目標(biāo)機(jī)（Target Machine），兩臺機(jī)器之間通過串口或者以太網(wǎng)口相連。串口連接線是一根RS-232接口的電纜，在其內(nèi)部兩端的第2腳（TXD）與第3腳（RXD）交叉相連，第7腳（接地腳）直接相連。調(diào)試過程中，被調(diào)試的內(nèi)核運(yùn)行在目標(biāo)機(jī)上，gdb調(diào)試器運(yùn)行在開發(fā)機(jī)上。?
目前，kgdb發(fā)布支持i386、x86_64、32-bit PPC、SPARC等幾種體系結(jié)構(gòu)的調(diào)試器。?

1 ?kgdb的調(diào)試原理

安裝kgdb調(diào)試環(huán)境需要為Linux內(nèi)核應(yīng)用kgdb補(bǔ)丁，補(bǔ)丁實現(xiàn)的gdb遠(yuǎn)程調(diào)試所需要的功能包括命令處理、陷阱處理及串口通訊3個主要的部分。kgdb補(bǔ)丁的主要作用是在Linux內(nèi)核中添加了一個調(diào)試Stub。調(diào)試Stub是Linux內(nèi)核中的一小段代碼，提供了運(yùn)行g(shù)db的開發(fā)機(jī)和所調(diào)試內(nèi)核之間的一個媒介。gdb和調(diào)試stub之間通過gdb串行協(xié)議進(jìn)行通訊。gdb串行協(xié)議是一種基于消息的ASCII碼協(xié)議，包含了各種調(diào)試命令。當(dāng)設(shè)置斷點時，kgdb負(fù)責(zé)在設(shè)置斷點的指令前增加一條trap指令，當(dāng)執(zhí)行到斷點時控制權(quán)就轉(zhuǎn)移到調(diào)試stub中去。此時，調(diào)試stub的任務(wù)就是使用遠(yuǎn)程串行通信協(xié)議將當(dāng)前環(huán)境傳送給gdb，然后從gdb處接受命令。gdb命令告訴stub下一步該做什么，當(dāng)stub收到繼續(xù)執(zhí)行的命令時，將恢復(fù)程序的運(yùn)行環(huán)境，把對CPU的控制權(quán)重新交還給內(nèi)核?

2 ?Kgdb的安裝與設(shè)置

下面我們將以Linux 2.6.7內(nèi)核為例詳細(xì)介紹kgdb調(diào)試環(huán)境的建立過程。

2.1 ?軟硬件準(zhǔn)備

以下軟硬件配置取自筆者進(jìn)行試驗的系統(tǒng)配置情況：?
kgdb補(bǔ)丁的版本遵循如下命名模式：Linux-A-kgdb-B，其中A表示Linux的內(nèi)核版本號，B為kgdb的版本號。以試驗使用的kgdb補(bǔ)丁為例，linux內(nèi)核的版本為linux-2.6.7，補(bǔ)丁版本為kgdb-2.2。?
物理連接好串口線后，使用以下命令來測試兩臺機(jī)器之間串口連接情況，stty命令可以對串口參數(shù)進(jìn)行設(shè)置：?
在development機(jī)上執(zhí)行：?

stty ispeed 115200 ospeed 115200 -F /dev/ttyS0

在target機(jī)上執(zhí)行：?

stty ispeed 115200 ospeed 115200 -F /dev/ttyS0

在developement機(jī)上執(zhí)行：?

echo hello > /dev/ttyS0

在target機(jī)上執(zhí)行：?

cat /dev/ttyS0

如果串口連接沒問題的話在將在target機(jī)的屏幕上顯示"hello"。?

2.2 ?安裝與配置

下面我們需要應(yīng)用kgdb補(bǔ)丁到Linux內(nèi)核，設(shè)置內(nèi)核選項并編譯內(nèi)核。這方面的資料相對較少，筆者這里給出詳細(xì)的介紹。下面的工作在開發(fā)機(jī)（developement）上進(jìn)行，以上面介紹的試驗環(huán)境為例，某些具體步驟在實際的環(huán)境中可能要做適當(dāng)?shù)母膭樱?

I、內(nèi)核的配置與編譯

[root@lisl tmp]# tar -jxvf linux-2.6.7.tar.bz2[root@lisl tmp]#tar -jxvf linux-2.6.7-kgdb-2.2.tar.tar[root@lisl tmp]#cd inux-2.6.7

請參照目錄補(bǔ)丁包中文件README給出的說明，執(zhí)行對應(yīng)體系結(jié)構(gòu)的補(bǔ)丁程序。由于試驗在i386體系結(jié)構(gòu)上完成，所以只需要安裝一下補(bǔ)?。篶ore-lite.patch、i386-lite.patch、8250.patch、eth.patch、core.patch、i386.patch。應(yīng)用補(bǔ)丁文件時，請遵循kgdb軟件包內(nèi)series文件所指定的順序，否則可能會帶來預(yù)想不到的問題。eth.patch文件是選擇以太網(wǎng)口作為調(diào)試的連接端口時需要運(yùn)用的補(bǔ)丁。?
應(yīng)用補(bǔ)丁的命令如下所示：?

[root@lisl tmp]#patch -p1 <../linux-2.6.7-kgdb-2.2/core-lite.patch

如果內(nèi)核正確，那么應(yīng)用補(bǔ)丁時應(yīng)該不會出現(xiàn)任何問題（不會產(chǎn)生*.rej文件）。為Linux內(nèi)核添加了補(bǔ)丁之后，需要進(jìn)行內(nèi)核的配置。內(nèi)核的配置可以按照你的習(xí)慣選擇配置Linux內(nèi)核的任意一種方式。?

[root@lisl tmp]#make menuconfig

在內(nèi)核配置菜單的Kernel hacking選項中選擇kgdb調(diào)試項，例如：?

[*] KGDB: kernel debugging with remote gdb Method for KGDB communication (KGDB: On generic serial port (8250)) ---> [*] KGDB: Thread analysis [*] KGDB: Console messages through gdb[root@lisl tmp]#make

編譯內(nèi)核之前請注意Linux目錄下Makefile中的優(yōu)化選項，默認(rèn)的Linux內(nèi)核的編譯都以-O2的優(yōu)化級別進(jìn)行。在這個優(yōu)化級別之下，編譯器要對內(nèi)核中的某些代碼的執(zhí)行順序進(jìn)行改動，所以在調(diào)試時會出現(xiàn)程序運(yùn)行與代碼順序不一致的情況?？梢园袽akefile中的-O2選項改為-O,但不可去掉-O，否則編譯會出問題。為了使編譯后的內(nèi)核帶有調(diào)試信息，注意在編譯內(nèi)核的時候需要加上-g選項。?
不過，當(dāng)選擇"Kernel debugging->Compile the kernel with debug info"選項后配置系統(tǒng)將自動打開調(diào)試選項。另外，選擇"kernel debugging with remote gdb"后，配置系統(tǒng)將自動打開"Compile the kernel with debug info"選項。?
內(nèi)核編譯完成后，使用scp命令進(jìn)行將相關(guān)文件拷貝到target機(jī)上(當(dāng)然也可以使用其它的網(wǎng)絡(luò)工具，如rcp)。?

[root@lisl tmp]#scp arch/i386/boot/bzImage root@192.168.6.13:/boot/vmlinuz-2.6.7-kgdb[root@lisl tmp]#scp System.map root@192.168.6.13:/boot/System.map-2.6.7-kgdb

如果系統(tǒng)啟動使所需要的某些設(shè)備驅(qū)動沒有編譯進(jìn)內(nèi)核的情況下，那么還需要執(zhí)行如下操作：?

[root@lisl tmp]#mkinitrd /boot/initrd-2.6.7-kgdb 2.6.7[root@lisl tmp]#scp initrd-2.6.7-kgdb root@192.168.6.13:/boot/ initrd-2.6.7-kgdb

II、kgdb的啟動?
在將編譯出的內(nèi)核拷貝的到target機(jī)器之后，需要配置系統(tǒng)引導(dǎo)程序，加入內(nèi)核的啟動選項。以下是kgdb內(nèi)核引導(dǎo)參數(shù)的說明：?
?
如表中所述，在kgdb 2.0版本之后內(nèi)核的引導(dǎo)參數(shù)已經(jīng)與以前的版本有所不同。使用grub引導(dǎo)程序時，直接將kgdb參數(shù)作為內(nèi)核vmlinuz的引導(dǎo)參數(shù)。下面給出引導(dǎo)器的配置示例。?

title 2.6.7 kgdbroot (hd0,0)kernel /boot/vmlinuz-2.6.7-kgdb ro root=/dev/hda1 kgdbwait kgdb8250=1,115200

在使用lilo作為引導(dǎo)程序時，需要把kgdb參放在由append修飾的語句中。下面給出使用lilo作為引導(dǎo)器時的配置示例。?

image=/boot/vmlinuz-2.6.7-kgdblabel=kgdb read-only root=/dev/hda3append="gdb gdbttyS=1 gdbbaud=115200"

保存好以上配置后重新啟動計算機(jī)，選擇啟動帶調(diào)試信息的內(nèi)核，內(nèi)核將在短暫的運(yùn)行后在創(chuàng)建init內(nèi)核線程之前停下來，打印出以下信息，并等待開發(fā)機(jī)的連接。?
Waiting for connection from remote gdb...?
在開發(fā)機(jī)上執(zhí)行：?

gdbfile vmlinuxset remotebaud 115200target remote /dev/ttyS0

其中vmlinux是指向源代碼目錄下編譯出來的Linux內(nèi)核文件的鏈接，它是沒有經(jīng)過壓縮的內(nèi)核文件，gdb程序從該文件中得到各種符號地址信息。?

這樣，就與目標(biāo)機(jī)上的kgdb調(diào)試接口建立了聯(lián)系。一旦建立聯(lián)接之后，對Linux內(nèi)的調(diào)試工作與對普通的運(yùn)用程序的調(diào)試就沒有什么區(qū)別了。任何時候都可以通過鍵入ctrl+c打斷目標(biāo)機(jī)的執(zhí)行，進(jìn)行具體的調(diào)試工作。?
在kgdb 2.0之前的版本中，編譯內(nèi)核后在arch/i386/kernel目錄下還會生成可執(zhí)行文件gdbstart。將該文件拷貝到target機(jī)器的/boot目錄下，此時無需更改內(nèi)核的啟動配置文件，直接使用命令：?

[root@lisl boot]#gdbstart -s 115200 -t /dev/ttyS0

可以在KGDB內(nèi)核引導(dǎo)啟動完成后建立開發(fā)機(jī)與目標(biāo)機(jī)之間的調(diào)試聯(lián)系。?

2.3 ?通過網(wǎng)絡(luò)接口進(jìn)行調(diào)試?
kgdb也支持使用以太網(wǎng)接口作為調(diào)試器的連接端口。在對Linux內(nèi)核應(yīng)用補(bǔ)丁包時，需應(yīng)用eth.patch補(bǔ)丁文件。配置內(nèi)核時在Kernel hacking中選擇kgdb調(diào)試項，配置kgdb調(diào)試端口為以太網(wǎng)接口，例如：?

[*]KGDB: kernel debugging with remote gdbMethod for KGDB communication (KGDB: On ethernet) ---> ( ) KGDB: On generic serial port (8250)(X) KGDB: On ethernet

另外使用eth0網(wǎng)口作為調(diào)試端口時，grub.list的配置如下：?

title 2.6.7 kgdbroot (hd0,0)kernel /boot/vmlinuz-2.6.7-kgdb ro root=/dev/hda1 kgdbwait kgdboe=@192.168.5.13/,@192.168. 6.13/

其他的過程與使用串口作為連接端口時的設(shè)置過程相同。?
注意：盡管可以使用以太網(wǎng)口作為kgdb的調(diào)試端口，使用串口作為連接端口更加簡單易行，kgdb項目組推薦使用串口作為調(diào)試端口。?

2.4 ?模塊的調(diào)試方法?
內(nèi)核可加載模塊的調(diào)試具有其特殊性。由于內(nèi)核模塊中各段的地址是在模塊加載進(jìn)內(nèi)核的時候才最終確定的，所以develop機(jī)的gdb無法得到各種符號地址信息。所以，使用kgdb調(diào)試模塊所需要解決的一個問題是，需要通過某種方法獲得可加載模塊的最終加載地址信息，并把這些信息加入到gdb環(huán)境中。?
I、在Linux 2.4內(nèi)核中的內(nèi)核模塊調(diào)試方法?
在Linux2.4.x內(nèi)核中，可以使用insmod -m命令輸出模塊的加載信息，例如：?

[root@lisl tmp]# insmod -m hello.ko >modaddr

查看模塊加載信息文件modaddr如下：?

.this 00000060 c88d8000 2**2.text 00000035 c88d8060 2**2.rodata 00000069 c88d80a0 2**5…….data 00000000 c88d833c 2**2.bss 00000000 c88d833c 2**2……

在這些信息中，我們關(guān)心的只有4個段的地址:.text、.rodata、.data、.bss。在development機(jī)上將以上地址信息加入到gdb中,這樣就可以進(jìn)行模塊功能的測試了。?

(gdb) Add-symbol-file hello.o 0xc88d8060 -s .data 0xc88d80a0 -s .rodata 0xc88d80a0 -s .bss 0x c88d833c

這種方法也存在一定的不足，它不能調(diào)試模塊初始化的代碼，因為此時模塊初始化代碼已經(jīng)執(zhí)行過了。而如果不執(zhí)行模塊的加載又無法獲得模塊插入地址，更不可能在模塊初始化之前設(shè)置斷點了。對于這種調(diào)試要求可以采用以下替代方法。?
在target機(jī)上用上述方法得到模塊加載的地址信息，然后再用rmmod卸載模塊。在development機(jī)上將得到的模塊地址信息導(dǎo)入到gdb環(huán)境中，在內(nèi)核代碼的調(diào)用初始化代碼之前設(shè)置斷點。這樣，在target機(jī)上再次插入模塊時，代碼將在執(zhí)行模塊初始化之前停下來，這樣就可以使用gdb命令調(diào)試模塊初始化代碼了。?
另外一種調(diào)試模塊初始化函數(shù)的方法是：當(dāng)插入內(nèi)核模塊時，內(nèi)核模塊機(jī)制將調(diào)用函數(shù)sys_init_module(kernel/modle.c)執(zhí)行對內(nèi)核模塊的初始化，該函數(shù)將調(diào)用所插入模塊的初始化函數(shù)。程序代碼片斷如下：?

…… ……if (mod->init != NULL)ret = mod->init();…… ……

在該語句上設(shè)置斷點，也能在執(zhí)行模塊初始化之前停下來。?

II、在Linux 2.6.x內(nèi)核中的內(nèi)核模塊調(diào)試方法

Linux 2.6之后的內(nèi)核中，由于module-init-tools工具的更改，insmod命令不再支持-m參數(shù)，只有采取其他的方法來獲取模塊加載到內(nèi)核的地址。通過分析ELF文件格式，我們知道程序中各段的意義如下：?
.text（代碼段）：用來存放可執(zhí)行文件的操作指令，也就是說是它是可執(zhí)行程序在內(nèi)存種的鏡像。?
.data（數(shù)據(jù)段）：數(shù)據(jù)段用來存放可執(zhí)行文件中已初始化全局變量，也就是存放程序靜態(tài)分配的變量和全局變量。?
.bss（BSS段）：BSS段包含了程序中未初始化全局變量，在內(nèi)存中 bss段全部置零。?
.rodata（只讀段）：該段保存著只讀數(shù)據(jù)，在進(jìn)程映象中構(gòu)造不可寫的段。?
通過在模塊初始化函數(shù)中放置一下代碼，我們可以很容易地獲得模塊加載到內(nèi)存中的地址。?

……int bss_var;static int hello_init(void){ printk(KERN_ALERT "Text location .text(Code Segment):%p ",hello_init); static int data_var=0; printk(KERN_ALERT "Data Location .data(Data Segment):%p ",&data_var); printk(KERN_ALERT "BSS Location: .bss(BSS Segment):%p ",&bss_var); ……}Module_init(hello_init);

這里，通過在模塊的初始化函數(shù)中添加一段簡單的程序，使模塊在加載時打印出在內(nèi)核中的加載地址。.rodata段的地址可以通過執(zhí)行命令readelf -e hello.ko，取得.rodata在文件中的偏移量并加上段的align值得出。?
為了使讀者能夠更好地進(jìn)行模塊的調(diào)試，kgdb項目還發(fā)布了一些腳本程序能夠自動探測模塊的插入并自動更新gdb中模塊的符號信息。這些腳本程序的工作原理與前面解釋的工作過程相似，更多的信息請閱讀參考資料[4]。?

2.5 ?硬件斷點?
kgdb提供對硬件調(diào)試寄存器的支持。在kgdb中可以設(shè)置三種硬件斷點：執(zhí)行斷點（Execution Breakpoint）、寫斷點（Write Breakpoint）、訪問斷點（Access Breakpoint）但不支持I/O訪問的斷點。 目前，kgdb對硬件斷點的支持是通過宏來實現(xiàn)的，最多可以設(shè)置4個硬件斷點，這些宏的用法如下：?
?
在有些情況下，硬件斷點的使用對于內(nèi)核的調(diào)試是非常方便的。?

3 ?在VMware中搭建調(diào)試環(huán)境

kgdb調(diào)試環(huán)境需要使用兩臺微機(jī)分別充當(dāng)development機(jī)和target機(jī)，使用VMware后我們只使用一臺計算機(jī)就可以順利完成kgdb調(diào)試環(huán)境的搭建。以windows下的環(huán)境為例，創(chuàng)建兩臺虛擬機(jī)，一臺作為開發(fā)機(jī)，一臺作為目標(biāo)機(jī)。?

3.1 ?虛擬機(jī)之間的串口連接?
虛擬機(jī)中的串口連接可以采用兩種方法。一種是指定虛擬機(jī)的串口連接到實際的COM上，例如開發(fā)機(jī)連接到COM1，目標(biāo)機(jī)連接到COM2，然后把兩個串口通過串口線相連接。另一種更為簡便的方法是：在較高一些版本的VMware中都支持把串口映射到命名管道，把兩個虛擬機(jī)的串口映射到同一個命名管道。例如，在兩個虛擬機(jī)中都選定同一個命名管道 \.pipecom_1,指定target機(jī)的COM口為server端，并選擇"The other end is a virtual machine"屬性；指定development機(jī)的COM口端為client端，同樣指定COM口的"The other end is a virtual machine"屬性。對于IO mode屬性，在target上選中"Yield CPU on poll"復(fù)選擇框，development機(jī)不選。這樣，可以無需附加任何硬件，利用虛擬機(jī)就可以搭建kgdb調(diào)試環(huán)境。 即降低了使用kgdb進(jìn)行調(diào)試的硬件要求，也簡化了建立調(diào)試環(huán)境的過程。?
?

3.2 ?VMware的使用技巧

VMware虛擬機(jī)是比較占用資源的，尤其是象上面那樣在Windows中使用兩臺虛擬機(jī)。因此，最好為系統(tǒng)配備512M以上的內(nèi)存，每臺虛擬機(jī)至少分配128M的內(nèi)存。這樣的硬件要求，對目前主流配置的PC而言并不是過高的要求。出于系統(tǒng)性能的考慮，在VMware中盡量使用字符界面進(jìn)行調(diào)試工作。同時，Linux系統(tǒng)默認(rèn)情況下開啟了sshd服務(wù)，建議使用SecureCRT登陸到Linux進(jìn)行操作，這樣可以有較好的用戶使用界面。?

3.3 ?在Linux下的虛擬機(jī)中使用kgdb?
對于在Linux下面使用VMware虛擬機(jī)的情況，筆者沒有做過實際的探索。從原理上而言，只需要在Linux下只要創(chuàng)建一臺虛擬機(jī)作為target機(jī)，開發(fā)機(jī)的工作可以在實際的Linux環(huán)境中進(jìn)行，搭建調(diào)試環(huán)境的過程與上面所述的過程類似。由于只需要創(chuàng)建一臺虛擬機(jī)，所以使用Linux下的虛擬機(jī)搭建kgdb調(diào)試環(huán)境對系統(tǒng)性能的要求較低。（vmware已經(jīng)推出了Linux下的版本）還可以在development機(jī)上配合使用一些其他的調(diào)試工具，例如功能更強(qiáng)大的cgdb、圖形界面的DDD調(diào)試器等，以方便內(nèi)核的調(diào)試工作。?
?

4 ?kgdb的一些特點和不足

使用kgdb作為內(nèi)核調(diào)試環(huán)境最大的不足在于對kgdb硬件環(huán)境的要求較高，必須使用兩臺計算機(jī)分別作為target和development機(jī)。盡管使用虛擬機(jī)的方法可以只用一臺PC即能搭建調(diào)試環(huán)境，但是對系統(tǒng)其他方面的性能也提出了一定的要求，同時也增加了搭建調(diào)試環(huán)境時復(fù)雜程度。另外，kgdb內(nèi)核的編譯、配置也比較復(fù)雜，需要一定的技巧，筆者當(dāng)時做的時候也是費了很多周折。當(dāng)調(diào)試過程結(jié)束后時，還需要重新制作所要發(fā)布的內(nèi)核。使用kgdb并不能進(jìn)行全程調(diào)試，也就是說kgdb并不能用于調(diào)試系統(tǒng)一開始的初始化引導(dǎo)過程。?
不過，kgdb是一個不錯的內(nèi)核調(diào)試工具，使用它可以進(jìn)行對內(nèi)核的全面調(diào)試，甚至可以調(diào)試內(nèi)核的中斷處理程序。如果在一些圖形化的開發(fā)工具的幫助下，對內(nèi)核的調(diào)試將更方便。?
參考：?
透過虛擬化技術(shù)體驗kgdb?
Linux 系統(tǒng)內(nèi)核的調(diào)試?
Debugging The Linux Kernel Using Gdb?

十 ?使用SkyEye構(gòu)建Linux內(nèi)核調(diào)試環(huán)境

SkyEye是一個開源軟件項目（OPenSource Software）,SkyEye項目的目標(biāo)是在通用的Linux和Windows平臺上模擬常見的嵌入式計算機(jī)系統(tǒng)。SkyEye實現(xiàn)了一個指令級的硬件模擬平臺，可以模擬多種嵌入式開發(fā)板，支持多種CPU指令集。SkyEye 的核心是 GNU 的 gdb 項目，它把gdb和 ARM Simulator很好地結(jié)合在了一起。加入ARMulator 的功能之后，它就可以來仿真嵌入式開發(fā)板，在它上面不僅可以調(diào)試硬件驅(qū)動，還可以調(diào)試操作系統(tǒng)。Skyeye項目目前已經(jīng)在嵌入式系統(tǒng)開發(fā)領(lǐng)域得到了很大的推廣。?

1 ?SkyEye的安裝和μcLinux內(nèi)核編譯

1.1 ?SkyEye的安裝?
SkyEye的安裝不是本文要介紹的重點，目前已經(jīng)有大量的資料對此進(jìn)行了介紹。有關(guān)SkyEye的安裝與使用的內(nèi)容請查閱參考資料[11]。由于skyeye面目主要用于嵌入式系統(tǒng)領(lǐng)域，所以在skyeye上經(jīng)常使用的是μcLinux系統(tǒng)，當(dāng)然使用Linux作為skyeye上運(yùn)行的系統(tǒng)也是可以的。由于介紹μcLinux 2.6在skyeye上編譯的相關(guān)資料并不多，所以下面進(jìn)行詳細(xì)介紹。?

1.2 ?μcLinux 2.6.x的編譯?
要在SkyEye中調(diào)試操作系統(tǒng)內(nèi)核，首先必須使被調(diào)試內(nèi)核能在SkyEye所模擬的開發(fā)板上正確運(yùn)行。因此，正確編譯待調(diào)試操作系統(tǒng)內(nèi)核并配置SkyEye是進(jìn)行內(nèi)核調(diào)試的第一步。下面我們以SkyEye模擬基于Atmel AT91X40的開發(fā)板，并運(yùn)行μcLinux 2.6為例介紹SkyEye的具體調(diào)試方法。?

I、安裝交叉編譯環(huán)境?
先安裝交叉編譯器。盡管在一些資料中說明使用工具鏈arm-elf-tools-20040427.sh ,但是由于arm-elf-xxx與arm-linux-xxx對宏及鏈接處理的不同，經(jīng)驗證明使用arm-elf-xxx工具鏈在鏈接vmlinux的最后階段將會出錯。所以這里我們使用的交叉編譯工具鏈?zhǔn)牵篴rm-uclinux-tools-base-gcc3.4.0-20040713.sh，關(guān)于該交叉編譯工具鏈的下載地址請參見[6]。注意以下步驟最好用root用戶來執(zhí)行。?

[root@lisl tmp]#chmod +x arm-uclinux-tools-base-gcc3.4.0-20040713.sh[root@lisl tmp]#./arm-uclinux-tools-base-gcc3.4.0-20040713.sh

安裝交叉編譯工具鏈之后，請確保工具鏈安裝路徑存在于系統(tǒng)PATH變量中。?

II、制作μcLinux內(nèi)核?
得到μcLinux發(fā)布包的一個最容易的方法是直接訪問uClinux.org站點[7]。該站點發(fā)布的內(nèi)核版本可能不是最新的，但你能找到一個最新的μcLinux補(bǔ)丁以及找一個對應(yīng)的Linux內(nèi)核版本來制作一個最新的μcLinux內(nèi)核。這里，將使用這種方法來制作最新的μcLinux內(nèi)核。目前（筆者記錄編寫此文章時），所能得到的發(fā)布包的最新版本是uClinux-dist.20041215.tar.gz。?
下載uClinux-dist.20041215.tar.gz，文件的下載地址請參見[7]。?
下載linux-2.6.9-hsc0.patch.gz，文件的下載地址請參見[8]。?
下載linux-2.6.9.tar.bz2，文件的下載地址請參見[9]。?
現(xiàn)在我們得到了整個的linux-2.6.9源代碼，以及所需的內(nèi)核補(bǔ)丁。請準(zhǔn)備一個有2GB空間的目錄里來完成以下制作μcLinux內(nèi)核的過程。?

[root@lisl tmp]# tar -jxvf uClinux-dist-20041215.tar.bz2[root@lisl uClinux-dist]# tar -jxvf linux-2.6.9.tar.bz2[root@lisl uClinux-dist]# gzip -dc linux-2.6.9-hsc0.patch.gz | patch -p0

或者使用：

[root@lisl uClinux-dist]# gunzip linux-2.6.9-hsc0.patch.gz [root@lisl uClinux-dist]patch -p0 < linux-2.6.9-hsc0.patch

執(zhí)行以上過程后，將在linux-2.6.9/arch目錄下生成一個補(bǔ)丁目錄－armnommu。刪除原來μcLinux目錄里的linux-2.6.x(即那個linux-2.6.9-uc0)，并將我們打好補(bǔ)丁的Linux內(nèi)核目錄更名為linux-2.6.x。?

[root@lisl uClinux-dist]# rm -rf linux-2.6.x/[root@lisl uClinux-dist]# mv linux-2.6.9 linux-2.6.x

III、配置和編譯μcLinux內(nèi)核?
因為只是出于調(diào)試μcLinux內(nèi)核的目的，這里沒有生成uClibc庫文件及romfs.img文件。在發(fā)布μcLinux時，已經(jīng)預(yù)置了某些常用嵌入式開發(fā)板的配置文件，因此這里直接使用這些配置文件，過程如下：?

[root@lisl uClinux-dist]# cd linux-2.6.x[root@lisl linux-2.6.x]#make ARCH=armnommu CROSS_COMPILE=arm-uclinux- atmel_deconfig

atmel_deconfig文件是μcLinux發(fā)布時提供的一個配置文件，存放于目錄linux-2.6.x /arch/armnommu/configs/中。?

[root@lisl linux-2.6.x]#make ARCH=armnommu CROSS_COMPILE=arm-uclinux- oldconfig

下面編譯配置好的內(nèi)核：?

[root@lisl linux-2.6.x]# make ARCH=armnommu CROSS_COMPILE=arm-uclinux- v=1

一般情況下，編譯將順利結(jié)束并在Linux-2.6.x/目錄下生成未經(jīng)壓縮的μcLinux內(nèi)核文件vmlinux。需要注意的是為了調(diào)試μcLinux內(nèi)核，需要打開內(nèi)核編譯的調(diào)試選項-g，使編譯后的內(nèi)核帶有調(diào)試信息。打開編譯選項的方法可以選擇：?
"Kernel debugging->Compile the kernel with debug info"后將自動打開調(diào)試選項。也可以直接修改linux-2.6.x目錄下的Makefile文件，為其打開調(diào)試開關(guān)。方法如下：。?

CFLAGS += -g

最容易出現(xiàn)的問題是找不到arm-uclinux-gcc命令的錯誤，主要原因是PATH變量中沒有 包含arm-uclinux-gcc命令所在目錄。在arm-linux-gcc的缺省安裝情況下，它的安裝目錄是/root/bin/arm-linux-tool/，使用以下命令將路徑加到PATH環(huán)境變量中。?

Export PATH＝$PATH:/root/bin/arm-linux-tool/bin

IV、根文件系統(tǒng)的制作?
Linux內(nèi)核在啟動的時的最后操作之一是加載根文件系統(tǒng)。根文件系統(tǒng)中存放了嵌入式 系統(tǒng)使用的所有應(yīng)用程序、庫文件及其他一些需要用到的服務(wù)。出于文章篇幅的考慮，這里不打算介紹根文件系統(tǒng)的制作方法，讀者可以查閱一些其他的相關(guān)資料。值得注意的是，由配置文件skyeye.conf指定了裝載到內(nèi)核中的根文件系統(tǒng)。?

2 ?使用SkyEye調(diào)試

編譯完μcLinux內(nèi)核后，就可以在SkyEye中調(diào)試該ELF執(zhí)行文件格式的內(nèi)核了。前面已經(jīng)說過利用SkyEye調(diào)試內(nèi)核與使用gdb調(diào)試運(yùn)用程序的方法相同。?
需要提醒讀者的是，SkyEye的配置文件－skyeye.conf記錄了模擬的硬件配置和模擬執(zhí)行行為。該配置文件是SkyEye系統(tǒng)中一個及其重要的文件，很多錯誤和異常情況的發(fā)生都和該文件有關(guān)。在安裝配置SkyEye出錯時，請首先檢查該配置文件然后再進(jìn)行其他的工作。此時，所有的準(zhǔn)備工作已經(jīng)完成，就可以進(jìn)行內(nèi)核的調(diào)試工作了。?

3 ?使用SkyEye調(diào)試內(nèi)核的特點和不足

在SkyEye中可以進(jìn)行對Linux系統(tǒng)內(nèi)核的全程調(diào)試。由于SkyEye目前主要支持基于ARM內(nèi)核的CPU，因此一般而言需要使用交叉編譯工具編譯待調(diào)試的Linux系統(tǒng)內(nèi)核。另外，制作SkyEye中使用的內(nèi)核編譯、配置過程比較復(fù)雜、繁瑣。不過，當(dāng)調(diào)試過程結(jié)束后無需重新制作所要發(fā)布的內(nèi)核。?
SkyEye只是對系統(tǒng)硬件進(jìn)行了一定程度上的模擬，所以在SkyEye與真實硬件環(huán)境相比較而言還是有一定的差距，這對一些與硬件緊密相關(guān)的調(diào)試可能會有一定的影響，例如驅(qū)動程序的調(diào)試。不過對于大部分軟件的調(diào)試，SkyEye已經(jīng)提供了精度足夠的模擬了。?
SkyEye的下一個目標(biāo)是和eclipse結(jié)合，有了圖形界面，能為調(diào)試和查看源碼提供一些方便。?

參考：?
Linux 系統(tǒng)內(nèi)核的調(diào)試?
?

十一 ?KDB

Linux 內(nèi)核調(diào)試器（KDB）允許您調(diào)試 Linux 內(nèi)核。這個恰如其名的工具實質(zhì)上是內(nèi)核代碼的補(bǔ)丁，它允許高手訪問內(nèi)核內(nèi)存和數(shù)據(jù)結(jié)構(gòu)。KDB 的主要優(yōu)點之一就是它不需要用另一臺機(jī)器進(jìn)行調(diào)試：您可以調(diào)試正在運(yùn)行的內(nèi)核。?
設(shè)置一臺用于 KDB 的機(jī)器需要花費一些工作，因為需要給內(nèi)核打補(bǔ)丁并進(jìn)行重新編譯。KDB 的用戶應(yīng)當(dāng)熟悉 Linux 內(nèi)核的編譯（在一定程度上還要熟悉內(nèi)核內(nèi)部機(jī)理）。?
在本文中，我們將從有關(guān)下載 KDB 補(bǔ)丁、打補(bǔ)丁、（重新）編譯內(nèi)核以及啟動 KDB 方面的信息著手。然后我們將了解 KDB 命令并研究一些較常用的命令。最后，我們將研究一下有關(guān)設(shè)置和顯示選項方面的一些詳細(xì)信息。?

1 ?入門

KDB 項目是由 Silicon Graphics 維護(hù)的，您需要從它的 FTP 站點下載與內(nèi)核版本有關(guān)的補(bǔ)丁。（在編寫本文時）可用的最新 KDB 版本是 4.2。您將需要下載并應(yīng)用兩個補(bǔ)丁。一個是“公共的”補(bǔ)丁，包含了對通用內(nèi)核代碼的更改，另一個是特定于體系結(jié)構(gòu)的補(bǔ)丁。補(bǔ)丁可作為 bz2 文件獲取。例如，在運(yùn)行 2.4.20 內(nèi)核的 x86 機(jī)器上，您會需要 kdb-v4.2-2.4.20-common-1.bz2 和 kdb-v4.2-2.4.20-i386-1.bz2。?
這里所提供的所有示例都是針對 i386 體系結(jié)構(gòu)和 2.4.20 內(nèi)核的。您將需要根據(jù)您的機(jī)器和內(nèi)核版本進(jìn)行適當(dāng)?shù)母?。您還需要擁有 root 許可權(quán)以執(zhí)行這些操作。?
將文件復(fù)制到 /usr/src/linux 目錄中并從用 bzip2 壓縮的文件解壓縮補(bǔ)丁文件：

#bzip2 -d kdb-v4.2-2.4.20-common-1.bz2#bzip2 -d kdb-v4.2-2.4.20-i386-1.bz2

您將獲得 kdb-v4.2-2.4.20-common-1 和 kdb-v4.2-2.4-i386-1 文件。?
現(xiàn)在，應(yīng)用這些補(bǔ)丁：

#patch -p1 2-2.4.20-common-1#patch -p1 2-2.4.20-i386-1

這些補(bǔ)丁應(yīng)該干凈利落地加以應(yīng)用。查找任何以 .rej 結(jié)尾的文件。這個擴(kuò)展名表明這些是失敗的補(bǔ)丁。如果內(nèi)核樹沒問題，那么補(bǔ)丁的應(yīng)用就不會有任何問題。?
接下來，需要構(gòu)建內(nèi)核以支持 KDB。第一步是設(shè)置 CONFIG_KDB 選項。使用您喜歡的配置機(jī)制（xconfig 和 menuconfig 等）來完成這一步。轉(zhuǎn)到結(jié)尾處的“Kernel hacking”部分并選擇“Built-in Kernel Debugger support”選項。?
您還可以根據(jù)自己的偏好選擇其它兩個選項。選擇“Compile the kernel with frame pointers”選項（如果有的話）則設(shè)置CONFIG_FRAME_POINTER 標(biāo)志。這將產(chǎn)生更好的堆?；厮?，因為幀指針寄存器被用作幀指針而不是通用寄存器。您還可以選擇“KDB off by default”選項。這將設(shè)置 CONFIG_KDB_OFF 標(biāo)志，并且在缺省情況下將關(guān)閉 KDB。我們將在后面一節(jié)中對此進(jìn)行詳細(xì)介紹。?
保存配置，然后退出。重新編譯內(nèi)核。建議在構(gòu)建內(nèi)核之前執(zhí)行“make clean”。用常用方式安裝內(nèi)核并引導(dǎo)它。?

2 ?初始化并設(shè)置環(huán)境變量

您可以定義將在 KDB 初始化期間執(zhí)行的 KDB 命令。需要在純文本文件 kdb_cmds 中定義這些命令，該文件位于 Linux 源代碼樹（當(dāng)然是在打了補(bǔ)丁之后）的 KDB 目錄中。該文件還可以用來定義設(shè)置顯示和打印選項的環(huán)境變量。文件開頭的注釋提供了編輯文件方面的幫助。使用這個文件的缺點是，在您更改了文件之后需要重新構(gòu)建并重新安裝內(nèi)核。?

3 ?激活 KDB

如果編譯期間沒有選中 CONFIG_KDB_OFF ，那么在缺省情況下 KDB 是活動的。否則，您需要顯式地激活它 － 通過在引導(dǎo)期間將kdb=on 標(biāo)志傳遞給內(nèi)核或者通過在掛裝了 /proc 之后執(zhí)行該工作：

#echo "1" >/proc/sys/kernel/kdb

倒過來執(zhí)行上述步驟則會取消激活 KDB。也就是說，如果缺省情況下 KDB 是打開的，那么將 kdb=off 標(biāo)志傳遞給內(nèi)核或者執(zhí)行下面這個操作將會取消激活 KDB：

#echo "0" >/proc/sys/kernel/kdb

在引導(dǎo)期間還可以將另一個標(biāo)志傳遞給內(nèi)核。 kdb=early 標(biāo)志將導(dǎo)致在引導(dǎo)過程的初始階段就把控制權(quán)傳遞給 KDB。如果您需要在引導(dǎo)過程初始階段進(jìn)行調(diào)試，那么這將有所幫助。?
調(diào)用 KDB 的方式有很多。如果 KDB 處于打開狀態(tài)，那么只要內(nèi)核中有緊急情況就自動調(diào)用它。按下鍵盤上的 PAUSE 鍵將手工調(diào)用 KDB。調(diào)用 KDB 的另一種方式是通過串行控制臺。當(dāng)然，要做到這一點，需要設(shè)置串行控制臺并且需要一個從串行控制臺進(jìn)行讀取的程序。按鍵序列 Ctrl-A 將從串行控制臺調(diào)用 KDB。?

4 ?KDB 命令

KDB 是一個功能非常強(qiáng)大的工具，它允許進(jìn)行幾個操作，比如內(nèi)存和寄存器修改、應(yīng)用斷點和堆棧跟蹤。根據(jù)這些，可以將 KDB 命令分成幾個類別。下面是有關(guān)每一類中最常用命令的詳細(xì)信息。?

4.1 ?內(nèi)存顯示和修改?
這一類別中最常用的命令是 md 、 mdr 、 mm 和 mmW 。?
md 命令以一個地址／符號和行計數(shù)為參數(shù)，顯示從該地址開始的 line-count 行的內(nèi)存。如果沒有指定 line-count ，那么就使用環(huán)境變量所指定的缺省值。如果沒有指定地址，那么 md 就從上一次打印的地址繼續(xù)。地址打印在開頭，字符轉(zhuǎn)換打印在結(jié)尾。?
mdr 命令帶有地址／符號以及字節(jié)計數(shù)，顯示從指定的地址開始的 byte-count 字節(jié)數(shù)的初始內(nèi)存內(nèi)容。它本質(zhì)上和 md 一樣，但是它不顯示起始地址并且不在結(jié)尾顯示字符轉(zhuǎn)換。 mdr 命令較少使用。?
mm 命令修改內(nèi)存內(nèi)容。它以地址／符號和新內(nèi)容作為參數(shù)，用 new-contents 替換地址處的內(nèi)容。?
mmW 命令更改從地址開始的 W 個字節(jié)。請注意， mm 更改一個機(jī)器字。?
示例?
顯示從 0xc000000 開始的 15 行內(nèi)存：

[0]kdb> md 0xc000000 15

將內(nèi)存位置為 0xc000000 上的內(nèi)容更改為 0x10：

[0]kdb> mm 0xc000000 0x10

4.2 ?寄存器顯示和修改?
這一類別中的命令有 rd 、 rm 和 ef 。?
rd 命令（不帶任何參數(shù)）顯示處理器寄存器的內(nèi)容。它可以有選擇地帶三個參數(shù)。如果傳遞了 c 參數(shù)，則 rd 顯示處理器的控制寄存器；如果帶有 d 參數(shù)，那么它就顯示調(diào)試寄存器；如果帶有 u 參數(shù)，則顯示上一次進(jìn)入內(nèi)核的當(dāng)前任務(wù)的寄存器組。?
rm 命令修改寄存器的內(nèi)容。它以寄存器名稱和 new-contents 作為參數(shù)，用 new-contents 修改寄存器。寄存器名稱與特定的體系結(jié)構(gòu)有關(guān)。目前，不能修改控制寄存器。?
ef 命令以一個地址作為參數(shù)，它顯示指定地址處的異常幀。?
示例?
顯示通用寄存器組：

[0]kdb> rd[0]kdb> rm %ebx 0x25

4.3 ?斷點?
常用的斷點命令有 bp 、 bc 、 bd 、 be 和 bl 。?
bp 命令以一個地址／符號作為參數(shù)，它在地址處應(yīng)用斷點。當(dāng)遇到該斷點時則停止執(zhí)行并將控制權(quán)交予 KDB。該命令有幾個有用的變體。 bpa 命令對 SMP 系統(tǒng)中的所有處理器應(yīng)用斷點。 bph 命令強(qiáng)制在支持硬件寄存器的系統(tǒng)上使用它。 bpha 命令類似于 bpa 命令，差別在于它強(qiáng)制使用硬件寄存器。?
bd 命令禁用特殊斷點。它接收斷點號作為參數(shù)。該命令不是從斷點表中除去斷點，而只是禁用它。斷點號從 0 開始，根據(jù)可用性順序分配給斷點。?
be 命令啟用斷點。該命令的參數(shù)也是斷點號。?
bl 命令列出當(dāng)前的斷點集。它包含了啟用的和禁用的斷點。?
bc 命令從斷點表中除去斷點。它以具體的斷點號或 * 作為參數(shù)，在后一種情況下它將除去所有斷點。?

示例?
對函數(shù) sys_write() 設(shè)置斷點：

[0]kdb> bp sys_write

列出斷點表中的所有斷點：

[0]kdb> bl

清除斷點號 1：

[0]kdb> bc 1

4.4 ?堆棧跟蹤?
主要的堆棧跟蹤命令有 bt 、 btp 、 btc 和 bta 。?
bt 命令設(shè)法提供有關(guān)當(dāng)前線程的堆棧的信息。它可以有選擇地將堆棧幀地址作為參數(shù)。如果沒有提供地址，那么它采用當(dāng)前寄存器來回溯堆棧。否則，它假定所提供的地址是有效的堆棧幀起始地址并設(shè)法進(jìn)行回溯。如果內(nèi)核編譯期間設(shè)置了CONFIG_FRAME_POINTER 選項，那么就用幀指針寄存器來維護(hù)堆棧，從而就可以正確地執(zhí)行堆?；厮荨Ｈ绻麤]有設(shè)置CONFIG_FRAME_POINTER ，那么 bt 命令可能會產(chǎn)生錯誤的結(jié)果。?
btp 命令將進(jìn)程標(biāo)識作為參數(shù)，并對這個特定進(jìn)程進(jìn)行堆?；厮?。?
btc 命令對每個活動 CPU 上正在運(yùn)行的進(jìn)程執(zhí)行堆棧回溯。它從第一個活動 CPU 開始執(zhí)行 bt ，然后切換到下一個活動 CPU，以此類推。?
bta 命令對處于某種特定狀態(tài)的所有進(jìn)程執(zhí)行回溯。若不帶任何參數(shù)，它就對所有進(jìn)程執(zhí)行回溯?？梢杂羞x擇地將各種參數(shù)傳遞給該命令。將根據(jù)參數(shù)處理處于特定狀態(tài)的進(jìn)程。選項以及相應(yīng)的狀態(tài)如下：?

D：不可中斷狀態(tài)

R：正運(yùn)行

S：可中斷休眠

T：已跟蹤或已停止

Z：僵死

U：不可運(yùn)行

這類命令中的每一個都會打印出一大堆信息。

示例?
跟蹤當(dāng)前活動線程的堆棧：

[0]kdb> bt

跟蹤標(biāo)識為 575 的進(jìn)程的堆棧：

[0]kdb> btp 575

4.5 ?其它命令?
下面是在內(nèi)核調(diào)試過程中非常有用的其它幾個 KDB 命令。?
id 命令以一個地址／符號作為參數(shù)，它對從該地址開始的指令進(jìn)行反匯編。環(huán)境變量 IDCOUNT 確定要顯示多少行輸出。?
ss 命令單步執(zhí)行指令然后將控制返回給 KDB。該指令的一個變體是 ssb ，它執(zhí)行從當(dāng)前指令指針地址開始的指令（在屏幕上打印指令），直到它遇到將引起分支轉(zhuǎn)移的指令為止。分支轉(zhuǎn)移指令的典型示例有 call 、 return 和 jump 。?
go 命令讓系統(tǒng)繼續(xù)正常執(zhí)行。一直執(zhí)行到遇到斷點為止（如果已應(yīng)用了一個斷點的話）。?
reboot 命令立刻重新引導(dǎo)系統(tǒng)。它并沒有徹底關(guān)閉系統(tǒng)，因此結(jié)果是不可預(yù)測的。?
ll 命令以地址、偏移量和另一個 KDB 命令作為參數(shù)。它對鏈表中的每個元素反復(fù)執(zhí)行作為參數(shù)的這個命令。所執(zhí)行的命令以列表中當(dāng)前元素的地址作為參數(shù)。?
示例?
反匯編從例程 schedule 開始的指令。所顯示的行數(shù)取決于環(huán)境變量 IDCOUNT ：

[0]kdb> id schedule

執(zhí)行指令直到它遇到分支轉(zhuǎn)移條件（在本例中為指令 jne ）為止：

[0]kdb> ssb0xc0105355 default_idle+0x25: cli0xc0105356 default_idle+0x26: mov 0x14(%edx),%eax0xc0105359 default_idle+0x29: test %eax, %eax0xc010535b default_idle+0x2b: jne 0xc0105361 default_idle+0x31

5 ?技巧和訣竅

調(diào)試一個問題涉及到：使用調(diào)試器（或任何其它工具）找到問題的根源以及使用源代碼來跟蹤導(dǎo)致問題的根源。單單使用源代碼來確定問題是極其困難的，只有老練的內(nèi)核黑客才有可能做得到。相反，大多數(shù)的新手往往要過多地依靠調(diào)試器來修正錯誤。這種方法可能會產(chǎn)生不正確的問題解決方案。我們擔(dān)心的是這種方法只會修正表面癥狀而不能解決真正的問題。此類錯誤的典型示例是添加錯誤處理代碼以處理 NULL 指針或錯誤的引用，卻沒有查出無效引用的真正原因。?
結(jié)合研究代碼和使用調(diào)試工具這兩種方法是識別和修正問題的最佳方案。?
調(diào)試器的主要用途是找到錯誤的位置、確認(rèn)癥狀（在某些情況下還有起因）、確定變量的值，以及確定程序是如何出現(xiàn)這種情況的（即，建立調(diào)用堆棧）。有經(jīng)驗的黑客會知道對于某種特定的問題應(yīng)使用哪一個調(diào)試器，并且能迅速地根據(jù)調(diào)試獲取必要的信息，然后繼續(xù)分析代碼以識別起因。?
因此，這里為您介紹了一些技巧，以便您能使用 KDB 快速地取得上述結(jié)果。當(dāng)然，要記住，調(diào)試的速度和精確度來自經(jīng)驗、實踐和良好的系統(tǒng)知識（硬件和內(nèi)核內(nèi)部機(jī)理等）。?

5.1 ?技巧 #1?
在 KDB 中，在提示處輸入地址將返回與之最為匹配的符號。這在堆棧分析以及確定全局?jǐn)?shù)據(jù)的地址／值和函數(shù)地址方面極其有用。同樣，輸入符號名則返回其虛擬地址。?
示例?

表明函數(shù) sys_read 從地址 0xc013db4c 開始：

[0]kdb> 0xc013db4c0xc013db4c = 0xc013db4c (sys_read)

同樣，表明 sys_write 位于地址 0xc013dcc8：

[0]kdb> sys_writesys_write = 0xc013dcc8 (sys_write)

這些有助于在分析堆棧時找到全局?jǐn)?shù)據(jù)和函數(shù)地址。?

5.2 ?技巧 #2?
在編譯帶 KDB 的內(nèi)核時，只要 CONFIG_FRAME_POINTER 選項出現(xiàn)就使用該選項。為此，需要在配置內(nèi)核時選擇“Kernel hacking”部分下面的“Compile the kernel with frame pointers”選項。這確保了幀指針寄存器將被用作幀指針，從而產(chǎn)生正確的回溯。實際上，您可以手工轉(zhuǎn)儲幀指針寄存器的內(nèi)容并跟蹤整個堆棧。例如，在 i386 機(jī)器上，%ebp 寄存器可以用來回溯整個堆棧。?
例如，在函數(shù) rmqueue() 上執(zhí)行第一個指令后，堆棧看上去類似于下面這樣：

[0]kdb> md %ebp0xc74c9f38 c74c9f60 c0136c40 000001f0 000000000xc74c9f48 08053328 c0425238 c04253a8 000000000xc74c9f58 000001f0 00000246 c74c9f6c c0136a250xc74c9f68 c74c8000 c74c9f74 c0136d6d c74c9fbc0xc74c9f78 c014fe45 c74c8000 00000000 08053328[0]kdb> 0xc0136c400xc0136c40 = 0xc0136c40 (__alloc_pages +0x44)[0]kdb> 0xc0136a250xc0136a25 = 0xc0136a25 (_alloc_pages +0x19)[0]kdb> 0xc0136d6d0xc0136d6d = 0xc0136d6d (__get_free_pages +0xd)

我們可以看到 rmqueue() 被 __alloc_pages 調(diào)用，后者接下來又被 _alloc_pages 調(diào)用，以此類推。?
每一幀的第一個雙字（double word）指向下一幀，這后面緊跟著調(diào)用函數(shù)的地址。因此，跟蹤堆棧就變成一件輕松的工作了。?

5.3 ?技巧 #3?
go 命令可以有選擇地以一個地址作為參數(shù)。如果您想在某個特定地址處繼續(xù)執(zhí)行，則可以提供該地址作為參數(shù)。另一個辦法是使用rm 命令修改指令指針寄存器，然后只要輸入 go 。如果您想跳過似乎會引起問題的某個特定指令或一組指令，這就會很有用。但是，請注意，該指令使用不慎會造成嚴(yán)重的問題，系統(tǒng)可能會嚴(yán)重崩潰。?

5.4 ?技巧 #4?
您可以利用一個名為 defcmd 的有用命令來定義自己的命令集。例如，每當(dāng)遇到斷點時，您可能希望能同時檢查某個特殊變量、檢查某些寄存器的內(nèi)容并轉(zhuǎn)儲堆棧。通常，您必須要輸入一系列命令，以便能同時執(zhí)行所有這些工作。 defcmd 允許您定義自己的命令，該命令可以包含一個或多個預(yù)定義的 KDB 命令。然后只需要用一個命令就可以完成所有這三項工作。其語法如下：

[0]kdb> defcmd name "usage" "help"[0]kdb> [defcmd] type the commands here[0]kdb> [defcmd] endefcmd

例如，可以定義一個（簡單的）新命令 hari ，它顯示從地址 0xc000000 開始的一行內(nèi)存、顯示寄存器的內(nèi)容并轉(zhuǎn)儲堆棧：

[0]kdb> defcmd hari "" "no arguments needed"[0]kdb> [defcmd] md 0xc000000 1[0]kdb> [defcmd] rd[0]kdb> [defcmd] md %ebp 1[0]kdb> [defcmd] endefcmd

該命令的輸出會是：

[0]kdb> hari[hari]kdb> md 0xc000000 10xc000000 00000001 f000e816 f000e2c3 f000e816[hari]kdb> rdeax = 0x00000000 ebx = 0xc0105330 ecx = 0xc0466000 edx = 0xc0466000.......[hari]kdb> md %ebp 10xc0467fbc c0467fd0 c01053d2 00000002 000a0200[0]kdb>

5.5 ?技巧 #5?
可以使用 bph 和 bpha 命令（假如體系結(jié)構(gòu)支持使用硬件寄存器）來應(yīng)用讀寫斷點。這意味著每當(dāng)從某個特定地址讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入該地址時，我們都可以對此進(jìn)行控制。當(dāng)調(diào)試數(shù)據(jù)／內(nèi)存毀壞問題時這可能會極其方便，在這種情況中您可以用它來識別毀壞的代碼／進(jìn)程。?
示例?
每當(dāng)將四個字節(jié)寫入地址 0xc0204060 時就進(jìn)入內(nèi)核調(diào)試器：

[0]kdb> bph 0xc0204060 dataw 4

在讀取從 0xc000000 開始的至少兩個字節(jié)的數(shù)據(jù)時進(jìn)入內(nèi)核調(diào)試器：

[0]kdb> bph 0xc000000 datar 2

6 結(jié)束語

對于執(zhí)行內(nèi)核調(diào)試，KDB 是一個方便的且功能強(qiáng)大的工具。它提供了各種選項，并且使我們能夠分析內(nèi)存內(nèi)容和數(shù)據(jù)結(jié)構(gòu)。最妙的是，它不需要用另一臺機(jī)器來執(zhí)行調(diào)試。?

參考：?
Linux 內(nèi)核調(diào)試器內(nèi)幕 KDB入門指南?
?

十二 ?Kprobes

Kprobes 是 Linux 中的一個簡單的輕量級裝置，讓您可以將斷點插入到正在運(yùn)行的內(nèi)核之中。 Kprobes 提供了一個強(qiáng)行進(jìn)入任何內(nèi)核例程并從中斷處理器無干擾地收集信息的接口。使用 Kprobes 可以 輕松地收集處理器寄存器和全局?jǐn)?shù)據(jù)結(jié)構(gòu)等調(diào)試信息。開發(fā)者甚至可以使用 Kprobes 來修改 寄存器值和全局?jǐn)?shù)據(jù)結(jié)構(gòu)的值。?
為完成這一任務(wù)，Kprobes 向運(yùn)行的內(nèi)核中給定地址寫入斷點指令，插入一個探測器。 執(zhí)行被探測的指令會導(dǎo)致斷點錯誤。Kprobes 鉤?。╤ook in）斷點處理器并收集調(diào)試信息。Kprobes 甚至可以單步執(zhí)行被探測的指令。?

1 ?安裝

要安裝 Kprobes，需要從 Kprobes 主頁下載最新的補(bǔ)丁。 打包的文件名稱類似于 kprobes-2.6.8-rc1.tar.gz。解開補(bǔ)丁并將其安裝到 Linux 內(nèi)核：?

$tar -xvzf kprobes-2.6.8-rc1.tar.gz $cd /usr/src/linux-2.6.8-rc1 $patch -p1 < ../kprobes-2.6.8-rc1-base.patch

Kprobes 利用了 SysRq 鍵，這個 DOS 時代的產(chǎn)物在 Linux 中有了新的用武之地。您可以在 Scroll Lock鍵左邊找到 SysRq 鍵；它通常標(biāo)識為 Print Screen。要為 Kprobes 啟用 SysRq 鍵，需要安裝 kprobes-2.6.8-rc1-sysrq.patch 補(bǔ)?。?/p>

$patch -p1 < ../kprobes-2.6.8-rc1-sysrq.patch

使用 make xconfig/ make menuconfig/ make oldconfig 配置內(nèi)核，并 啟用 CONFIG_KPROBES 和 CONFIG_MAGIC_SYSRQ標(biāo)記。 編譯并引導(dǎo)到新內(nèi)核。您現(xiàn)在就已經(jīng)準(zhǔn)備就緒，可以插入 printk 并通過編寫簡單的 Kprobes 模塊來動態(tài)而且無干擾地 收集調(diào)試信息。?

2 ?編寫 Kprobes 模塊

對于每一個探測器，您都要分配一個結(jié)構(gòu)體 struct kprobe kp; （參考 include/linux/kprobes.h 以獲得關(guān)于此數(shù)據(jù)結(jié)構(gòu)的詳細(xì)信息）。?

清單 9. 定義 pre、post 和 fault 處理器

/* pre_handler: this is called just before the probed instruction is * executed. */int handler_pre(struct kprobe *p, struct pt_regs *regs) {printk("pre_handler: p->addr=0x%p, eflags=0x%lx ",p->addr,regs->eflags);return 0;}/* post_handler: this is called after the probed instruction is executed * (provided no exception is generated). */void handler_post(struct kprobe *p, struct pt_regs *regs, unsigned long flags) {printk("post_handler: p->addr=0x%p, eflags=0x%lx ", p->addr,regs->eflags);}/* fault_handler: this is called if an exception is generated for any * instruction within the fault-handler, or when Kprobes * single-steps the probed instruction. */int handler_fault(struct kprobe *p, struct pt_regs *regs, int trapnr) {printk("fault_handler:p->addr=0x%p, eflags=0x%lx ", p->addr,regs->eflags);return 0;}

2.1 ?獲得內(nèi)核例程的地址?
在注冊過程中，您還需要指定插入探測器的內(nèi)核例程的地址。使用這些方法中的任意一個來獲得內(nèi)核例程 的地址：?

從 System.map 文件直接得到地址。

例如，要得到 do_fork 的地址，可以在命令行執(zhí)行 $grep do_fork /usr/src/linux/System.map 。

使用 nm 命令。

$nm vmlinuz |grep do_fork

從 /proc/kallsyms 文件獲得地址。

$cat /proc/kallsyms |grep do_fork

使用 kallsyms_lookup_name() 例程。

這個例程是在 kernel/kallsyms.c 文件中定義的，要使用它，必須啟用 CONFIG_KALLSYMS 編譯內(nèi)核。kallsyms_lookup_name() 接受一個字符串格式內(nèi)核例程名， 返回那個內(nèi)核例程的地址。例如：kallsyms_lookup_name("do_fork");

然后在 init_moudle 中注冊您的探測器：?

清單 10. 注冊一個探測器

/* specify pre_handler address */kp.pre_handler=handler_pre;/* specify post_handler address */kp.post_handler=handler_post;/* specify fault_handler address */kp.fault_handler=handler_fault;/* specify the address/offset where you want to insert probe. * You can get the address using one of the methods described above. */kp.addr = (kprobe_opcode_t *) kallsyms_lookup_name("do_fork");/* check if the kallsyms_lookup_name() returned the correct value. */if (kp.add == NULL) {printk("kallsyms_lookup_name could not find addressfor the specified symbol name ");return 1;}/* or specify address directly. * $grep "do_fork" /usr/src/linux/System.map * or * $cat /proc/kallsyms |grep do_fork * or * $nm vmlinuz |grep do_fork */kp.addr = (kprobe_opcode_t *) 0xc01441d0;/* All set to register with Kprobes */ register_kprobe(&kp);

一旦注冊了探測器，運(yùn)行任何 shell 命令都會導(dǎo)致一個對 do_fork 的調(diào)用，您將可以在控制臺上或者運(yùn)行 dmesg 命令來查看您的 printk。做完后要記得注銷探測器：?
unregister_kprobe(&kp);?
下面的輸出顯示了 kprobe 的地址以及 eflags 寄存器的內(nèi)容：?

$tail -5 /var/log/messages Jun 14 18:21:18 llm05 kernel: pre_handler: p->addr=0xc01441d0, eflags=0x202 Jun 14 18:21:18 llm05 kernel: post_handler: p->addr=0xc01441d0, eflags=0x196

2.2 ?獲得偏移量?
您可以在例程的開頭或者函數(shù)中的任意偏移位置插入 printk（偏移量必須在指令范圍之內(nèi)）。 下面的代碼示例展示了如何來計算偏移量。首先，從對象文件中反匯編機(jī)器指令，并將它們 保存為一個文件：?

$objdump -D /usr/src/linux/kernel/fork.o > fork.dis

其結(jié)果是：?

清單 11. 反匯編的 fork

000022b0 : 22b0: 55 push %ebp 22b1: 89 e5 mov %esp,%ebp 22b3: 57 push %edi 22b4: 89 c7 mov %eax,%edi 22b6: 56 push %esi 22b7: 89 d6 mov %edx,%esi 22b9: 53 push %ebx 22ba: 83 ec 38 sub $0x38,%esp 22bd: c7 45 d0 00 00 00 00 movl $0x0,0xffffffd0(%ebp) 22c4: 89 cb mov %ecx,%ebx 22c6: 89 44 24 04 mov %eax,0x4(%esp) 22ca: c7 04 24 0a 00 00 00 movl $0xa,(%esp) 22d1: e8 fc ff ff ff call 22d2 0x22> 22d6: b8 00 e0 ff ff mov $0xffffe000,%eax 22db: 21 e0 and %esp,%eax 22dd: 8b 00 mov (%eax),%eax

要在偏移位置 0x22c4 插入探測器，先要得到與例程的開始處相對的偏移量 0x22c4 - 0x22b0 = 0x14 ，然后將這個偏移量添加到 do_fork 的地址 0xc01441d0 + 0x14 。（運(yùn)行 $cat /proc/kallsyms | grep do_fork 命令以獲得 do_fork 的地址。）?
您還可以將 do_fork 的相對偏移量 0x22c4 - 0x22b0 = 0x14 添加到 kallsyms_lookup_name("do_fork"); 的輸入，即：0x14 + kallsyms_lookup_name("do_fork");?

2.3 ?轉(zhuǎn)儲內(nèi)核數(shù)據(jù)結(jié)構(gòu)?
現(xiàn)在，讓我們使用修改過的用來轉(zhuǎn)儲數(shù)據(jù)結(jié)構(gòu)的 Kprobe post_handler 來轉(zhuǎn)儲運(yùn)行在系統(tǒng)上的所有作業(yè)的一些組成部分：?

清單 12. 用來轉(zhuǎn)儲數(shù)據(jù)結(jié)構(gòu)的修改過的 Kprope post_handler

void handler_post(struct kprobe *p, struct pt_regs *regs, unsigned long flags) { struct task_struct *task; read_lock(&tasklist_lock); for_each_process(task) { printk("pid =%x task-info_ptr=%lx ", task->pid, task->thread_info); printk("thread-info element status=%lx,flags=%lx,cpu=%lx ", task->thread_info->status, task->thread_info->flags, task->thread_info->cpu); } read_unlock(&tasklist_lock);}

這個模塊應(yīng)該插入到 do_fork 的偏移位置。?

清單 13. pid 1508 和 1509 的結(jié)構(gòu)體 thread_info 的輸出

$tail -10 /var/log/messagesJun 22 18:14:25 llm05 kernel: thread-info element status=0,flags=0, cpu=1Jun 22 18:14:25 llm05 kernel: pid =5e4 task-info_ptr=f5948000Jun 22 18:14:25 llm05 kernel: thread-info element status=0,flags=8, cpu=0Jun 22 18:14:25 llm05 kernel: pid =5e5 task-info_ptr=f5eca000

2.4 ?啟用奇妙的 SysRq 鍵?
為了支持 SysRq 鍵，我們已經(jīng)進(jìn)行了編譯。這樣來啟用它：?

$echo 1 > /proc/sys/kernel/sysrq

現(xiàn)在，您可以使用 Alt+SysRq+W 在控制臺上或者到 /var/log/messages 中去查看所有插入的內(nèi)核探測器。?

清單 14. /var/log/messages 顯示出在 do_fork 插入了一個 Kprobe

Jun 23 10:24:48 linux-udp4749545uds kernel: SysRq : Show kprobesJun 23 10:24:48 linux-udp4749545uds kernel:Jun 23 10:24:48 linux-udp4749545uds kernel: [] do_fork+0x0/0x1de

3 ?使用 Kprobes 更好地進(jìn)行調(diào)試

由于探測器事件處理器是作為系統(tǒng)斷點中斷處理器的擴(kuò)展來運(yùn)行，所以它們很少或者根本不依賴于系統(tǒng) 工具 —— 這樣可以被植入到大部分不友好的環(huán)境中（從中斷時間和任務(wù)時間到禁用的上下文間切換和支持 SMP 的代碼路徑）—— 都不會對系統(tǒng)性能帶來負(fù)面影響。?
使用 Kprobes 的好處有很多。不需要重新編譯和重新引導(dǎo)內(nèi)核就可以插入 printk。為了進(jìn)行調(diào)試可以記錄 處理器寄存器的日志，甚至進(jìn)行修改 —— 不會干擾系統(tǒng)。類似地，同樣可以無干擾地記錄 Linux 內(nèi)核數(shù)據(jù)結(jié)構(gòu)的日志，甚至 進(jìn)行修改。您甚至可以使用 Kprobes 調(diào)試 SMP 系統(tǒng)上的競態(tài)條件 —— 避免了您自己重新編譯和重新引導(dǎo)的所有 麻煩。您將發(fā)現(xiàn)內(nèi)核調(diào)試比以往更為快速和簡單。?

?