詳細(xì)介紹Linux 內(nèi)存使用方法

一提到內(nèi)存管理，我們頭腦中閃出的兩個(gè)概念，就是虛擬內(nèi)存，與物理內(nèi)存。這兩個(gè)概念主要來(lái)自于linux內(nèi)核的支持。

Linux在內(nèi)存管理上份為兩級(jí)，一級(jí)是線(xiàn)性區(qū)，類(lèi)似于00c73000-00c88000，對(duì)應(yīng)于虛擬內(nèi)存，它實(shí)際上不占用實(shí)際物理內(nèi)存；一級(jí)是具體的物理頁(yè)面，它對(duì)應(yīng)我們機(jī)器上的物理內(nèi)存。

這里要提到一個(gè)很重要的概念，內(nèi)存的延遲分配。Linux內(nèi)核在用戶(hù)申請(qǐng)內(nèi)存的時(shí)候，只是給它分配了一個(gè)線(xiàn)性區(qū)（也就是虛存），并沒(méi)有分配實(shí)際物理內(nèi)存；只有當(dāng)用戶(hù)使用這塊內(nèi)存的時(shí)候，內(nèi)核才會(huì)分配具體的物理頁(yè)面給用戶(hù)，這時(shí)候才占用寶貴的物理內(nèi)存。內(nèi)核釋放物理頁(yè)面是通過(guò)釋放線(xiàn)性區(qū)，找到其所對(duì)應(yīng)的物理頁(yè)面，將其全部釋放的過(guò)程。

[cpp]?view plain?copy

print?

char?*p=malloc(2048)?//這里只是分配了虛擬內(nèi)存2048，并不占用實(shí)際內(nèi)存。??

strcpy(p,”123”)?//分配了物理頁(yè)面，雖然只是使用了3個(gè)字節(jié)，但內(nèi)存還是為它分配了2048字節(jié)的物理內(nèi)存。??

free(p)?//通過(guò)虛擬地址，找到其所對(duì)應(yīng)的物理頁(yè)面，釋放物理頁(yè)面，釋放線(xiàn)性區(qū)。??

我們知道用戶(hù)的進(jìn)程和內(nèi)核是運(yùn)行在不同的級(jí)別，進(jìn)程與內(nèi)核之間的通訊是通過(guò)系統(tǒng)調(diào)用來(lái)完成的。進(jìn)程在申請(qǐng)和釋放內(nèi)存，主要通過(guò)brk,sbrk,mmap,unmmap這幾個(gè)系統(tǒng)調(diào)用，傳遞的參數(shù)主要是對(duì)應(yīng)的虛擬內(nèi)存。

注意一點(diǎn)，在進(jìn)程只能訪(fǎng)問(wèn)虛擬內(nèi)存，它實(shí)際上是看不到內(nèi)核物理內(nèi)存的使用，這對(duì)于進(jìn)程是完全透明的。

glibc內(nèi)存管理器

那么我們每次調(diào)用malloc來(lái)分配一塊內(nèi)存，都進(jìn)行相應(yīng)的系統(tǒng)調(diào)用呢？

答案是否定的，這里我要引入一個(gè)新的概念，glibc的內(nèi)存管理器。

我們知道m(xù)alloc和free等函數(shù)都是包含在glibc庫(kù)里面的庫(kù)函數(shù)，我們?cè)囅胍幌拢孔鲆淮蝺?nèi)存操作，都要調(diào)用系統(tǒng)調(diào)用的話(huà)，那么程序?qū)⒍嗝吹牡托А?/p>

實(shí)際上glibc采用了一種批發(fā)和零售的方式來(lái)管理內(nèi)存。glibc每次通過(guò)系統(tǒng)調(diào)用的方式申請(qǐng)一大塊內(nèi)存（虛擬內(nèi)存），當(dāng)進(jìn)程申請(qǐng)內(nèi)存時(shí)，glibc就從自己獲得的內(nèi)存中取出一塊給進(jìn)程。

內(nèi)存管理器面臨的困難

我們?cè)趯?xiě)程序的時(shí)候，每次申請(qǐng)的內(nèi)存塊大小不規(guī)律，而且存在頻繁的申請(qǐng)和釋放，這樣不可避免的就會(huì)產(chǎn)生內(nèi)存碎塊。而內(nèi)存碎塊，直接會(huì)導(dǎo)致大塊內(nèi)存申請(qǐng)無(wú)法滿(mǎn)足，從而更多的占用系統(tǒng)資源；如果進(jìn)行碎塊整理的話(huà)，又會(huì)增加cpu的負(fù)荷，很多都是互相矛盾的指標(biāo)，這里我就不細(xì)說(shuō)了。

我們?cè)趯?xiě)程序時(shí)，涉及內(nèi)存時(shí)，有兩個(gè)概念heap和stack。傳統(tǒng)的說(shuō)法stack的內(nèi)存地址是向下增長(zhǎng)的，heap的內(nèi)存地址是向上增長(zhǎng)的。

函數(shù)malloc和free，主要是針對(duì)heap進(jìn)行操作，由程序員自主控制內(nèi)存的訪(fǎng)問(wèn)。

在這里heap的內(nèi)存地址向上增長(zhǎng)，這句話(huà)不完全正確。

glibc對(duì)于heap內(nèi)存申請(qǐng)大于128k的內(nèi)存申請(qǐng)，glibc采用mmap的方式向內(nèi)核申請(qǐng)內(nèi)存，這不能保證內(nèi)存地址向上增長(zhǎng)；小于128k的則采用brk，對(duì)于它來(lái)講是正確的。128k的閥值，可以通過(guò)glibc的庫(kù)函數(shù)進(jìn)行設(shè)置。

這里我先講大塊內(nèi)存的申請(qǐng)，也即對(duì)應(yīng)于mmap系統(tǒng)調(diào)用。

對(duì)于大塊內(nèi)存申請(qǐng)，glibc直接使用mmap系統(tǒng)調(diào)用為其劃分出另一塊虛擬地址，供進(jìn)程單獨(dú)使用；在該塊內(nèi)存釋放時(shí)，使用unmmap系統(tǒng)調(diào)用將這塊內(nèi)存釋放，這個(gè)過(guò)程中間不會(huì)產(chǎn)生內(nèi)存碎塊等問(wèn)題。

針對(duì)小塊內(nèi)存的申請(qǐng)，在程序啟動(dòng)之后，進(jìn)程會(huì)獲得一個(gè)heap底端的地址，進(jìn)程每次進(jìn)行內(nèi)存申請(qǐng)時(shí)，glibc會(huì)將堆頂向上增長(zhǎng)來(lái)擴(kuò)展內(nèi)存空間，也就是我們所說(shuō)的堆地址向上增長(zhǎng)。在對(duì)這些小塊內(nèi)存進(jìn)行操作時(shí)，便會(huì)產(chǎn)生內(nèi)存碎塊的問(wèn)題。實(shí)際上brk和sbrk系統(tǒng)調(diào)用，就是調(diào)整heap頂?shù)刂分羔槨?/p>

那么heap堆的內(nèi)存是什么時(shí)候釋放呢？

當(dāng)glibc發(fā)現(xiàn)堆頂有連續(xù)的128k的空間是空閑的時(shí)候，它就會(huì)通過(guò)brk或sbrk系統(tǒng)調(diào)用，來(lái)調(diào)整heap頂?shù)奈恢?，將占用的?nèi)存返回給系統(tǒng)。這時(shí)，內(nèi)核會(huì)通過(guò)刪除相應(yīng)的線(xiàn)性區(qū)，來(lái)釋放占用的物理內(nèi)存。

下面我要講一個(gè)內(nèi)存空洞的問(wèn)題：

一個(gè)場(chǎng)景，堆頂有一塊正在使用的內(nèi)存，而下面有很大的連續(xù)內(nèi)存已經(jīng)被釋放掉了，那么這塊內(nèi)存是否能夠被釋放？其對(duì)應(yīng)的物理內(nèi)存是否能夠被釋放？

很遺憾，不能。

這也就是說(shuō)，只要堆頂?shù)牟糠稚暾?qǐng)內(nèi)存還在占用，我在下面釋放的內(nèi)存再多，都不會(huì)被返回到系統(tǒng)中，仍然占用著物理內(nèi)存。為什么會(huì)這樣呢？

這主要是與內(nèi)核在處理堆的時(shí)候，過(guò)于簡(jiǎn)單，它只能通過(guò)調(diào)整堆頂指針的方式來(lái)調(diào)整調(diào)整程序占用的線(xiàn)性區(qū)；而又只能通過(guò)調(diào)整線(xiàn)性區(qū)的方式，來(lái)釋放內(nèi)存。所以只要堆頂不減小，占用的內(nèi)存就不會(huì)釋放。

提一個(gè)問(wèn)題：

1

2

char *p=malloc(2);

free(p)

為什么申請(qǐng)內(nèi)存的時(shí)候，需要兩個(gè)參數(shù)，一個(gè)是內(nèi)存大小，一個(gè)是返回的指針；而釋放內(nèi)存的時(shí)候，卻只要內(nèi)存的指針呢？

這主要是和glibc的內(nèi)存管理機(jī)制有關(guān)。glibc中，為每一塊內(nèi)存維護(hù)了一個(gè)chunk的結(jié)構(gòu)。glibc在分配內(nèi)存時(shí)，glibc先填寫(xiě)chunk結(jié)構(gòu)中內(nèi)存塊的大小，然后是分配給進(jìn)程的內(nèi)存。

1

2

chunk ------size

p------------ content

在進(jìn)程釋放內(nèi)存時(shí)，只要 指針-4 便可以找到該塊內(nèi)存的大小，從而釋放掉。

注：glibc在做內(nèi)存申請(qǐng)時(shí)，最少分配16個(gè)字節(jié)，以便能夠維護(hù)chunk結(jié)構(gòu)。

glibc提供的調(diào)試工具：

為了方便調(diào)試，glibc 為用戶(hù)提供了 malloc 等等函數(shù)的鉤子（hook），如 __malloc_hook

對(duì)應(yīng)的是一個(gè)函數(shù)指針，

1

void *function (size_t size, const void *caller)

其中 caller 是調(diào)用 malloc 返回值的接受者（一個(gè)指針的地址）。另外有 __malloc_initialize_hook函數(shù)指針，僅僅會(huì)調(diào)用一次（第一次分配動(dòng)態(tài)內(nèi)存時(shí)）。（malloc.h）

一些使用 malloc 的統(tǒng)計(jì)量（SVID 擴(kuò)展）可以用 struct mallinfo 儲(chǔ)存，可調(diào)用獲得。

1

struct mallinfo mallinfo (void)

如何檢測(cè) memory leakage？glibc 提供了一個(gè)函數(shù)

void mtrace (void)及其反作用void muntrace (void)

這時(shí)會(huì)依賴(lài)于一個(gè)環(huán)境變量 MALLOC_TRACE 所指的文件，把一些信息記錄在該文件中

用于偵測(cè) memory leakage，其本質(zhì)是安裝了前面提到的 hook。一般將這些函數(shù)用

#ifdef DEBUGGING 包裹以便在非調(diào)試態(tài)下減少開(kāi)銷(xiāo)。產(chǎn)生的文件據(jù)說(shuō)不建議自己去讀，

而使用 mtrace 程序（perl 腳本來(lái)進(jìn)行分析）。下面用一個(gè)簡(jiǎn)單的例子說(shuō)明這個(gè)過(guò)程，這是

源程序：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

#include

#include

#include

intmain( int argc, char *argv[] )

{

int *p, *q ;

#ifdef DEBUGGING

mtrace( ) ;

#endif

p = malloc( sizeof( int ) ) ;

q = malloc( sizeof( int ) ) ;

printf( "p = %p\nq = %p\n", p, q ) ;

*p = 1 ;

*q = 2 ;

free( p ) ;

return 0 ;

}

很簡(jiǎn)單的程序，其中 q 沒(méi)有被釋放。我們?cè)O(shè)置了環(huán)境變量后并且 touch 出該文件

執(zhí)行結(jié)果如下：

p = 0x98c0378q = 0x98c0388

該文件內(nèi)容如下

1

2

3

4

= Start

@./test30:[0x8048446] + 0x98c0378 0x4

@./test30:[0x8048455] + 0x98c0388 0x4

@./test30:[0x804848f] - 0x98c0378

到這里我基本上講完了，我們寫(xiě)程序時(shí)，數(shù)據(jù)部分內(nèi)存使用的問(wèn)題。

代碼占用的內(nèi)存

數(shù)據(jù)部分占用內(nèi)存，那么我們寫(xiě)的程序是不是也占用內(nèi)存呢？

在linux中，程序的加載，涉及到兩個(gè)工具，linker 和loader。Linker主要涉及動(dòng)態(tài)鏈接庫(kù)的使用，loader主要涉及軟件的加載。

exec執(zhí)行一個(gè)程序

elf為現(xiàn)在非常流行的可執(zhí)行文件的格式，它為程序運(yùn)行劃分了兩個(gè)段，一個(gè)段是可以執(zhí)行的代碼段，它是只讀，可執(zhí)行；另一個(gè)段是數(shù)據(jù)段，它是可讀寫(xiě)，不能執(zhí)行。

loader會(huì)啟動(dòng)，通過(guò)mmap系統(tǒng)調(diào)用，將代碼端和數(shù)據(jù)段映射到內(nèi)存中，其實(shí)也就是為其分配了虛擬內(nèi)存，注意這時(shí)候，還不占用物理內(nèi)存；只有程序執(zhí)行到了相應(yīng)的地方，內(nèi)核才會(huì)為其分配物理內(nèi)存。

loader會(huì)去查找該程序依賴(lài)的鏈接庫(kù)，首先看該鏈接庫(kù)是否被映射進(jìn)內(nèi)存中，如果沒(méi)有使用mmap，將代碼段與數(shù)據(jù)段映射到內(nèi)存中，否則只是將其加入進(jìn)程的地址空間。這樣比如glibc等庫(kù)的內(nèi)存地址空間是完全一樣。

因此一個(gè)2M的程序，執(zhí)行時(shí)，并不意味著為其分配了2M的物理內(nèi)存，這與其運(yùn)行了的代碼量，與其所依賴(lài)的動(dòng)態(tài)鏈接庫(kù)有關(guān)。

運(yùn)行過(guò)程中鏈接動(dòng)態(tài)鏈接庫(kù)與編譯過(guò)程中鏈接動(dòng)態(tài)庫(kù)的區(qū)別

我們調(diào)用動(dòng)態(tài)鏈接庫(kù)有兩種方法：一種是編譯的時(shí)候，指明所依賴(lài)的動(dòng)態(tài)鏈接庫(kù)，這樣loader可以在程序啟動(dòng)的時(shí)候，來(lái)所有的動(dòng)態(tài)鏈接映射到內(nèi)存中；一種是在運(yùn)行過(guò)程中，通過(guò)dlopen和dlfree的方式加載動(dòng)態(tài)鏈接庫(kù)，動(dòng)態(tài)將動(dòng)態(tài)鏈接庫(kù)加載到內(nèi)存中。

這兩種方式，從編程角度來(lái)講，第一種是最方便的，效率上影響也不大，在內(nèi)存使用上有些差別。

第一種方式，一個(gè)庫(kù)的代碼，只要運(yùn)行過(guò)一次，便會(huì)占用物理內(nèi)存，之后即使再也不使用，也會(huì)占用物理內(nèi)存，直到進(jìn)程的終止。

第二中方式，庫(kù)代碼占用的內(nèi)存，可以通過(guò)dlfree的方式，釋放掉，返回給物理內(nèi)存。

這個(gè)差別主要對(duì)于那些壽命很長(zhǎng)，但又會(huì)偶爾調(diào)用各種庫(kù)的進(jìn)程有關(guān)。如果是這類(lèi)進(jìn)程，建議采用第二種方式調(diào)用動(dòng)態(tài)鏈接庫(kù)。

占用內(nèi)存的測(cè)量

測(cè)量一個(gè)進(jìn)程占用了多少內(nèi)存，linux為我們提供了一個(gè)很方便的方法，/proc目錄為我們提供了所有的信息，實(shí)際上top等工具也通過(guò)這里來(lái)獲取相應(yīng)的信息。

1

2

3

4

5

/proc/meminfo 機(jī)器的內(nèi)存使用信息

/proc/pid/maps pid為進(jìn)程號(hào)，顯示當(dāng)前進(jìn)程所占用的虛擬地址。

/proc/pid/statm 進(jìn)程所占用的內(nèi)存

[root@localhost ~]# cat /proc/self/statm

654 57 44 0 0 334 0

輸出解釋

CPU 以及CPU0。。。的每行的每個(gè)參數(shù)意思（以第一行為例）為：

參數(shù) 解釋 /proc//status

1

2

3

4

5

6

7

Size (pages) 任務(wù)虛擬地址空間的大小 VmSize/4

Resident(pages) 應(yīng)用程序正在使用的物理內(nèi)存的大小 VmRSS/4

Shared(pages) 共享頁(yè)數(shù) 0

Trs(pages) 程序所擁有的可執(zhí)行虛擬內(nèi)存的大小 VmExe/4

Lrs(pages) 被映像到任務(wù)的虛擬內(nèi)存空間的庫(kù)的大小 VmLib/4

Drs(pages) 程序數(shù)據(jù)段和用戶(hù)態(tài)的棧的大小 （VmData+ VmStk ）4

dt(pages) 04

查看機(jī)器可用內(nèi)存

1

2

3

4

5

/proc/28248/>free

total used free shared buffers cached

Mem: 1023788 926400 97388 0 134668 503688

-/+ buffers/cache: 288044 735744

Swap: 1959920 89608 1870312

我們通過(guò)free命令查看機(jī)器空閑內(nèi)存時(shí)，會(huì)發(fā)現(xiàn)free的值很小。這主要是因?yàn)椋趌inux中有這么一種思想，內(nèi)存不用白不用，因此它盡可能的cache和buffer一些數(shù)據(jù)，以方便下次使用。但實(shí)際上這些內(nèi)存也是可以立刻拿來(lái)使用的。

所以 空閑內(nèi)存=free+buffers+cached=total-used

查看進(jìn)程使用的內(nèi)存

查看一個(gè)進(jìn)程使用的內(nèi)存，是一個(gè)很令人困惑的事情。因?yàn)槲覀儗?xiě)的程序，必然要用到動(dòng)態(tài)鏈接庫(kù)，將其加入到自己的地址空間中，但是/proc/pid/statm統(tǒng)計(jì)出來(lái)的數(shù)據(jù)，會(huì)將這些動(dòng)態(tài)鏈接庫(kù)所占用的內(nèi)存也簡(jiǎn)單的算進(jìn)來(lái)。

這樣帶來(lái)的問(wèn)題，動(dòng)態(tài)鏈接庫(kù)占用的內(nèi)存有些是其他程序使用時(shí)占用的，卻算在了你這里。你的程序中包含了子進(jìn)程，那么有些動(dòng)態(tài)鏈接庫(kù)重用的內(nèi)存會(huì)被重復(fù)計(jì)算。

因此要想準(zhǔn)確的評(píng)估一個(gè)程序所占用的內(nèi)存是十分困難的，通過(guò)寫(xiě)一個(gè)module的方式，來(lái)準(zhǔn)確計(jì)算某一段虛擬地址所占用的內(nèi)存，可能對(duì)我們有用。

?