linux內(nèi)核oom機制分析

　　Linux 內(nèi)核有個機制叫OOM killer（Out-Of-Memory killer），該機制會監(jiān)控那些占用內(nèi)存過大，尤其是瞬間很快消耗大量內(nèi)存的進程，為了防止內(nèi)存耗盡而內(nèi)核會把該進程殺掉。典型的情況是：某天一臺機器突然ssh遠程登錄不了，但能ping通，說明不是網(wǎng)絡的故障，原因是sshd進程被OOM killer殺掉了（多次遇到這樣的假死狀況）。重啟機器后查看系統(tǒng)日志/var/log/messages會發(fā)現(xiàn)Out of Memory： Kill process 1865（sshd）類似的錯誤信息。

　　防止重要的系統(tǒng)進程觸發(fā)（OOM）機制而被殺死：可以設置參數(shù)/proc/PID/oom_adj為-17，可臨時關(guān)閉linux內(nèi)核的OOM機制。內(nèi)核會通過特定的算法給每個進程計算一個分數(shù)來決定殺哪個進程，每個進程的oom分數(shù)可以/proc/PID/oom_score中找到。我們運維過程中保護的一般是sshd和一些管理agent。

　　保護某個進程不被內(nèi)核殺掉可以這樣操作：

　　echo -17 》 /proc/$PID/oom_adj

　　如何防止sshd被殺，可以這樣操作：

　　pgrep -f “/usr/sbin/sshd” | while read PID;do echo -17 》 /proc/$PID/oom_adj;done

　　可以在計劃任務里加入這樣一條定時任務，就更安全了：

　　#/etc/cron.d/oom_disable

　　*/1**** root pgrep -f “/usr/sbin/sshd” | while read PID;do echo -17 》 /proc/$PID/oom_adj;done

　　為了避免重啟失效，可以寫入/etc/rc.d/rc.local

　　echo -17 》 /proc/$（pidof sshd）/oom_adj

　　至于為什么用-17而不用其他數(shù)值（默認值為0），這個是由linux內(nèi)核定義的，查看內(nèi)核源碼可知：

　　以linux-3.3.6版本的kernel源碼為例，路徑為linux-3.6.6/include/linux/oom.h，閱讀內(nèi)核源碼可知oom_adj的可調(diào)值為15到-16，其中15最大-16最小，-17為禁止使用OOM。oom_score為2的n次方計算出來的，其中n就是進程的oom_adj值，所以oom_score的分數(shù)越高就越會被內(nèi)核優(yōu)先殺掉。

　　當然還可以通過修改內(nèi)核參數(shù)禁止OOM機制

　　# sysctl -w vm.panic_on_oom=1

　　vm.panic_on_oom = 1 //1表示關(guān)閉，默認為0表示開啟OOM

　　# sysctl -p

　　為了驗證OOM機制的效果，我們不妨做個測試。

　　首先看看我系統(tǒng)現(xiàn)有內(nèi)存大小，沒錯96G多，物理上還要比查看的值大一些。

　　再看看目前進程最大的有哪些，top查看，我目前只跑了兩個java程序的進程，分別4.6G，再往后redis進程吃了21m，iscsi服務占了32m，gdm占了25m，其它的進程都是幾M而已。

　　現(xiàn)在我自己用C寫一個叫bigmem程序，我指定該程序分配內(nèi)存85G

　　#include 《stdio.h》

　　#include 《stdlib.h》

　　#include 《string.h》

　　#define PAGE_SZ （1《《12）

　　int main（） {

　　int i;

　　int gb = 85; //以GB為單位分配內(nèi)存大小

　　for （i = 0; i 《 （（unsigned long）gb《《30）/PAGE_SZ ; ++i） {

　　void *m = malloc（PAGE_SZ）;

　　if （！m）

　　break;

　　memset（m， 0， 1）;

　　}

　　printf（“allocated %lu MB\n”， （（unsigned long）i*PAGE_SZ）》》20）;

　　getchar（）;

　　return 0;

　　}

　　效果明顯，然后執(zhí)行后再用top查看，排在第一位的是我的bigmem，RES是物理內(nèi)存，已經(jīng)吃滿了85G。

　　繼續(xù)觀察，當bigmem穩(wěn)定保持在85G一會后，內(nèi)核會自動將其進程kill掉，增長的過程中沒有被殺，如果不希望被殺可以執(zhí)行

　　點擊（此處）折疊或打開pgrep -f “bigmem” | while read PID; do echo -17 》 /proc/$PID/oom_adj;done

　　執(zhí)行以上命令前后，明顯會對比出效果，就可以體會到內(nèi)核OOM機制的實際作用了。

　　如果你覺得寫C代碼麻煩，我告訴大家另外一個最簡單的測試觸發(fā)OOM的方法，可以把某個進程的oom_adj設置到15（最大值），最容易觸發(fā)。然后執(zhí)行以下命令：

　　echo f 》 /proc/sysrq-trigger // ‘f’ - Will call oom_kill to kill a memory hog process.

　　以下我來觸發(fā)mysqld的OOM看看：

　　需要注意的是這個測試，只是模擬OOM，不會真正殺掉進程

　　ps -ef | grep mysqld | grep -v grep

　　查看mysql進程，發(fā)現(xiàn)依然存在

　　注意：

　　1.Kernel-2.6.26之前版本的oomkiller算法不夠精確，RHEL 6.x版本的2.6.32可以解決這個問題。

　　2.子進程會繼承父進程的oom_adj。

　　3.OOM不適合于解決內(nèi)存泄漏（Memory leak）的問題。

　　4.有時free查看還有充足的內(nèi)存，但還是會觸發(fā)OOM，是因為該進程可能占用了特殊的內(nèi)存地址空間。