Linux kernel內(nèi)存管理模塊結(jié)構(gòu)分析

1. 前言

內(nèi)存（memory）在Linux系統(tǒng)中是一種牽涉面極廣的資源，上至應(yīng)用程序、下至kernel和driver，無(wú)不為之魂?duì)繅?mèng)繞。加上它天然的稀缺性，導(dǎo)致內(nèi)存管理（Memory Management，簡(jiǎn)稱(chēng)MM）是linux kernel中非常重要又非常復(fù)雜的一個(gè)子系統(tǒng)。

重要性就不多說(shuō)了，Kernel自有分寸。關(guān)于復(fù)雜性（鑒于Linux kernel優(yōu)秀的抽象能力），應(yīng)該不會(huì)被普通人（Linux系統(tǒng)的使用者、應(yīng)用工程師、驅(qū)動(dòng)工程師、輕量級(jí)的內(nèi)核工程師）感知到才對(duì)。事實(shí)確實(shí)如此，Kernel屏蔽掉了大多數(shù)的實(shí)現(xiàn)細(xì)節(jié)，盡量以簡(jiǎn)單、易用的方式向其它模塊提供memory服務(wù)。

不過(guò)呢，這個(gè)世界上沒(méi)有完美的存在，kernel的內(nèi)存管理也是如此，由于兩方面的原因：一、眾口難調(diào)，內(nèi)存管理有關(guān)的需求實(shí)在太復(fù)雜了；二、CPU、Device和Memory之間糾結(jié)的三角戀（參考下面圖片），導(dǎo)致它也（不得不）提供了很多啰里啰唆的、不易理解的功能（困擾了很多從入門(mén)級(jí)到資深級(jí)的linux軟件工程師）。

圖片1 CPU, Device and Memory

基于上面的原因，本站內(nèi)存管理子系統(tǒng)發(fā)布了很多分析文章，以幫助大家理解內(nèi)存管理有關(guān)的概念。不過(guò)到目前為止，還缺少一篇索引類(lèi)的文章，從整體出發(fā)，理解Kernel內(nèi)存管理所需要面對(duì)的軟硬件局面、所要解決的問(wèn)題，以及各個(gè)內(nèi)存管理子模塊的功能和意義。這就是本文的目的。

2. 內(nèi)存有關(guān)的需求總結(jié)

在嵌入式系統(tǒng)中，從需求的角度看內(nèi)存，是非常簡(jiǎn)單的，可以總結(jié)為兩大類(lèi)（參考上面的圖片1）：

1）CPU有訪問(wèn)內(nèi)存的需求，包括從內(nèi)存中取指、從內(nèi)存中取數(shù)據(jù)、向內(nèi)存中寫(xiě)數(shù)據(jù)。相應(yīng)的數(shù)據(jù)流為：

CPU<-------------->MMU(Optional)<----------->Memory

2）其它外部設(shè)備有訪問(wèn)內(nèi)存的需求，包括從內(nèi)存“讀取”數(shù)據(jù)、向內(nèi)存“寫(xiě)入”數(shù)據(jù)。這里的“讀取”和“寫(xiě)入”加了引號(hào)，是因?yàn)樵诖蟛糠智闆r下，設(shè)備不像CPU那樣有智能，不具備直接訪問(wèn)內(nèi)存的能力。總結(jié)來(lái)說(shuō)，設(shè)備有三種途徑訪問(wèn)內(nèi)存：

a）由CPU從中中轉(zhuǎn)，數(shù)據(jù)流如下（本質(zhì)上是CPU訪問(wèn)內(nèi)存）：?
Device<---------------->CPU<--------------------Memory

b）由第三方具有智能的模塊（如DMA控制器）中轉(zhuǎn)，數(shù)據(jù)流如下：?
Device<----------->DMA Controller<--------->Memory

c）直接訪問(wèn)內(nèi)存，數(shù)據(jù)流如下：?
Device<---------->IOMMU(Optional)--------->Memory

那么Linux kernel的內(nèi)存管理模塊怎么理解并滿足上面的需求呢？接下來(lái)我們將一一梳理。

3. 軟件（Linux kernel內(nèi)存管理模塊）的角度看內(nèi)存

3.1 CPU視角

我們先從CPU的需求說(shuō)起（以當(dāng)前具有MMU功能的嵌入式Linux平臺(tái)為例），看看會(huì)向kernel的內(nèi)存管理模塊提出哪些需求。

? 看到內(nèi)存

關(guān)于內(nèi)存以及內(nèi)存管理，最初始的需求是：Linux kernel的核心代碼（主要包括啟動(dòng)和內(nèi)存管理），要能看到物理內(nèi)存。

在MMU使能之前，該需求很容易滿足。

但MMU使能之后、Kernel的內(nèi)存管理機(jī)制ready之前，Kernel看到的是虛擬地址，此時(shí)需要一些簡(jiǎn)單且有效的機(jī)制，建立虛擬內(nèi)存到物理內(nèi)存的映射（可以是部分的映射，但要能夠滿足kenrel此時(shí)的需要）。

? 管理內(nèi)存

看到內(nèi)存之后，下一步就是將它們管理起來(lái)。根據(jù)不同的內(nèi)存形態(tài)（在物理地址上是否連續(xù)、是否具有NUMA內(nèi)存、是否具有可拔插的內(nèi)存、等等），可能有不同的管理模型和管理方法。

? 向內(nèi)核線程/用戶進(jìn)程提供服務(wù)

將內(nèi)存管理起來(lái)之后，就可以向其它人（kernel的其它模塊、內(nèi)核線程、用戶空間進(jìn)程、等等）提供服務(wù)了，主要包括：?
? 以虛擬地址（VA）的形式，為應(yīng)用程序提供遠(yuǎn)大于物理內(nèi)存的虛擬地址空間（Virtual Address Space）?
? 每個(gè)進(jìn)程都有獨(dú)立的虛擬地址空間，不會(huì)相互影響，進(jìn)而可提供非常好的內(nèi)存保護(hù)（memory protection）?
? 提供內(nèi)存映射（Memory Mapping）機(jī)制，以便把物理內(nèi)存、I/O空間、Kernel Image、文件等對(duì)象映射到相應(yīng)進(jìn)程的地址空間中，方便進(jìn)程的訪問(wèn)?
? 提供公平、高效的物理內(nèi)存分配（Physical Memory Allocation）算法?
? 提供進(jìn)程間內(nèi)存共享的方法（以虛擬內(nèi)存的形式），也稱(chēng)作Shared Virtual Memory?
? 等等

? 更為高級(jí)的內(nèi)存管理需求

欲望是無(wú)止境的，在內(nèi)存管理模塊提供了基礎(chǔ)的內(nèi)存服務(wù)之后，Linux系統(tǒng)（包括kernel線程和用戶進(jìn)程）已經(jīng)可以正常work了，更為高級(jí)的需求也產(chǎn)生了，例如：?
? 內(nèi)存的熱拔插（memory hotplug）?
? 內(nèi)存的size超過(guò)了虛擬地址可尋址的空間怎么辦（high memory）?
? 超大頁(yè)（hugetlbpage）的支持?
? 利用磁盤(pán)作為交換頁(yè)以擴(kuò)大可用內(nèi)存（各種swap機(jī)制和算法）?
? 在NUMA系統(tǒng)中通過(guò)移動(dòng)物理頁(yè)面位置的方法提升內(nèi)存的訪問(wèn)效率（Page migration）?
? 內(nèi)存泄漏的檢查?
? 內(nèi)存碎片的整理?
? 內(nèi)存不足時(shí)的處理（oom kill機(jī)制）?
? 等等

3.2 Device視角

正常情況下，當(dāng)軟件活動(dòng)只需要CPU參與時(shí)（例如簡(jiǎn)單的數(shù)學(xué)運(yùn)算、圖像處理等），上面3.1 所涉及內(nèi)容已經(jīng)足夠了，無(wú)論是用戶空間程序，還是內(nèi)核空間程序，都可以歡快的運(yùn)行了。

不過(guò)，當(dāng)軟件操作一些特殊的、可以以自己的方式訪問(wèn)memory的硬件設(shè)備的時(shí)候，麻煩就出現(xiàn)了：軟件通過(guò)CPU視角獲得memory，并不能直接被這些硬件設(shè)備訪問(wèn)。于是這些硬件設(shè)備就提出了需求：

內(nèi)存管理模塊需要為這些設(shè)備提供一些特殊的獲取內(nèi)存的接口，這些接口可以按照設(shè)備所期望的形式組織內(nèi)存（因而可以被設(shè)備訪問(wèn)），也可以重新映射成CPU視角的形式，以便CPU可以訪問(wèn)。

這就是我們?cè)诰帉?xiě)設(shè)備驅(qū)動(dòng)的時(shí)候會(huì)經(jīng)常遇到的DMA mapping功能，其中DMA是Direct Memory Access的所需，表示（memory）可以被設(shè)備直接訪問(wèn)。

另外，在某些應(yīng)用場(chǎng)景下，內(nèi)存數(shù)據(jù)可能會(huì)在多個(gè)設(shè)備間流動(dòng)，為了提高效率，不能為每個(gè)設(shè)備都提供一份拷貝，因此內(nèi)存管理模塊需要提供設(shè)備間內(nèi)存共享（以及相互轉(zhuǎn)換）的功能。

4. 軟件結(jié)構(gòu)

基于上面章節(jié)的需求，Linux kernel從虛擬內(nèi)存（VM）、DMA mapping以及DMA buffer sharing三個(gè)角度，對(duì)內(nèi)存進(jìn)行管理，如下圖所示：

其中VM是內(nèi)存管理的主要模塊，也是我們通常意義上所講的狹義“內(nèi)存管理”，代碼主要分布在mm/以及arch/xxx/mm/兩個(gè)目錄下，其中arch/xxx/mm/*提供平臺(tái)相關(guān)部分的實(shí)現(xiàn)，mm/*提供平臺(tái)無(wú)關(guān)部分的實(shí)現(xiàn)。

DMA mapping是內(nèi)存管理的輔助模塊，注要提供dma_alloc_xxx（申請(qǐng)可供設(shè)備直接訪問(wèn)的內(nèi)存----dma_addr）和dma_map_xxx（是在CPU視角的虛擬內(nèi)存和dma_addr之間轉(zhuǎn)換）兩類(lèi)接口。該模塊的具體實(shí)現(xiàn)依賴于設(shè)備訪問(wèn)內(nèi)存的方式，代碼主要分別在drivers/base/*（通用實(shí)現(xiàn)）以及arch/xxx/mm/（平臺(tái)相關(guān)的實(shí)現(xiàn)）。

最后是DMA buffer sharing的機(jī)制，用于在不同設(shè)備之間共享內(nèi)存，一般包括兩種方法：

傳統(tǒng)的、利用CPU虛擬地址中轉(zhuǎn)的方法，例如scatterlist；

dma buffer sharing framework，位于drivers/dma-buf/dma-buf.c中。??????

有關(guān)這些模塊的具體描述,本文后續(xù)的文章將會(huì)一一展開(kāi)(有些已經(jīng)有了),這里就先結(jié)束吧.