Linux內(nèi)存管理暴漲的問題學習

一、問題

近期我們運維同事接到線上 LB（負載均衡）服務內(nèi)存報警，運維同事反饋說 LB 集群有部分機器的內(nèi)存使用率超過 80%，有的甚至超過 90%，而且內(nèi)存使用率還再不停的增長。接到內(nèi)存報警的消息，讓整個團隊都比較緊張，我們團隊負責的 LB 服務是零售、物流、科技等業(yè)務服務的流量入口，承接上萬個服務的流量轉(zhuǎn)發(fā)，一旦有故障影響業(yè)務服務比較多，必須馬上著手解決內(nèi)存暴漲的問題。目前只是內(nèi)存報警，暫時不影響業(yè)務，先將內(nèi)存使用率 90% 以上的 LB 服務下線，防止內(nèi)存過高導致 LB 服務崩潰，影響業(yè)務，運維同事密切關(guān)注相關(guān)的內(nèi)存報警的消息。

二、排查過程

經(jīng)過開發(fā)同學通過 cat /proc/meminfo 查看 Slab 的內(nèi)核內(nèi)存可能有泄漏。

$ cat /proc/meminfo
MemTotal:       65922868 kB
MemFree:         9001452 kB
...
Slab:           39242216 kB
SReclaimable:   38506072 kB
SUnreclaim:       736144 kB
....

通過 slabtop 命令分析 slab 發(fā)現(xiàn)內(nèi)核中 dentry 對象占比高，考慮到 dentry 對象跟文件有關(guān)，Linux 中一切皆可以為文件，這個可能跟 socket 文件有關(guān)，通過進一步排查發(fā)現(xiàn) LB 服務上有個 curl 發(fā)送的 HTTPS 探測腳本，這個腳本存在 dentry 對象泄漏，并且在 curl 論壇上找到一篇文章確認了這個問題，這個文章說明了 curl-7.19.7 版本在發(fā)送 HTTPS 請求時，curl 依賴的 NSS 庫存在 dentry 泄漏的 bug，我查看一下我們 curl 版本就是 7.19.7，問題終于真相大白了！??！

$ curl -V
curl 7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps scp sftp
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

$ rpm -aq|grep nss-
nss-util-3.16.1-3.el6.x86_64
nss-sysinit-3.16.1-14.el6.x86_64
nss-softokn-freebl-3.14.3-17.el6.x86_64
nss-softokn-3.14.3-17.el6.x86_64
nss-3.16.1-14.el6.x86_64
nss-tools-3.16.1-14.el6.x86_64

文章中介紹可以設置環(huán)境變量 NSS_SDB_USE_CACHE 修復這個 bug，我們驗證通過了這個解決方案。

三、解決方案

1、目前先將探測腳本停止，在業(yè)務流量低峰時將內(nèi)存使用率超過 90% 的服務先通過 drop_caches 清理一下緩存。

2、等大促過后，探測腳本中設置環(huán)境變量 NSS_SDB_USE_CACHE，徹底修復這個問題。

四、復盤和總結(jié)

這次內(nèi)存暴漲的問題根本原因是 curl-7.19.7 依賴的 NSS 庫存在 dentry 泄漏的 bug 導致的，探測腳本只是將這個問題暴露出來。這次問題由 Linux 內(nèi)存泄漏引發(fā)的問題，因此以點帶面再次系統(tǒng)學習一下 Linux 內(nèi)存管理的知識非常有必要，對我們以后排查內(nèi)存暴漲的問題非常有幫助。

1）Linux 內(nèi)存尋址

Linux 內(nèi)核主要通過虛擬內(nèi)存管理進程的地址空間，內(nèi)核進程和用戶進程都只會分配虛擬內(nèi)存，不會分配物理內(nèi)存，通過內(nèi)存尋址將虛擬內(nèi)存與物理內(nèi)存做映射。Linux 內(nèi)核中有三種地址，

a、邏輯地址，每個邏輯地址都由一段 (segment) 和偏移量 (offset) 組成，偏移量指明了從段開始的地方到實際地址之間的距離。

b、線性地址，又稱虛擬地址，是一個 32 個無符號整數(shù)，32 位機器內(nèi)存高達 4GB，通常用十六進制數(shù)字表示，Linux 進程的內(nèi)存一般說的都是這個內(nèi)存。

c、物理地址，用于內(nèi)存芯片級內(nèi)存單元尋址。它們與從 CPU 的地址引腳發(fā)送到內(nèi)存總線上的電信號對應。

Linux 中的內(nèi)存控制單元 (MMU) 通過一種稱為分段單元 (segmentation unit) 的硬件電路把一個邏輯地址轉(zhuǎn)換成線性地址，接著，第二個稱為分頁單元 (paging unit) 的硬件電路把線性地址轉(zhuǎn)換成一個物理地址。

2）Linux 分頁機制

分頁單元把線性地址轉(zhuǎn)換成物理地址。線性地址被分成以固定長度為單位的組，稱為頁(page)。頁內(nèi)部連續(xù)的線性地址被映射到連續(xù)的物理地址中。一般 "頁" 既指一組線性地址，又指包含這組地址中的數(shù)據(jù)。分頁單元把所有的 RAM 分成固定長度的頁框(page frame)，也成物理頁。每一頁框包含一個頁 (page)，也就是說一個頁框的長度與一個頁的長度一致。

頁框是主存的一部分，因此也是一個存儲區(qū)域。區(qū)分一頁和一個頁框是很重要的，前者只是一個數(shù)據(jù)塊，可以存放任何頁框或者磁盤中。把線性地址映射到物理地址的數(shù)據(jù)結(jié)構(gòu)稱為頁表(page table)。頁表存放在主存中，并在啟用分頁單元之前必須有內(nèi)核對頁表進行適當?shù)某跏蓟?x86_64 的 Linux 內(nèi)核采用 4 級分頁模型，一般一頁 4K，4 種頁表：

a、頁全局目錄

b、頁上級目錄

c、頁中間目錄

d、頁表

頁全局目錄包含若干頁上級目錄，頁上級目錄又依次包含若干頁中間目錄的地址，而頁中間目錄又包含若干頁表的地址。每個頁表項指向一個頁框。線性地址被分成 5 部分。

3）NUMA 架構(gòu)

隨著 CPU 進入多核時代，多核 CPU 通過一條數(shù)據(jù)總線訪問內(nèi)存延遲很大，因此NUMA架構(gòu)應運而生，NUMA 架構(gòu)全稱為非一致性內(nèi)存架構(gòu) (Non Uniform Memory Architecture)，系統(tǒng)的物理內(nèi)存被劃分為幾個節(jié)點 (node)，每個 node 綁定不同的 CPU 核，本地 CPU 核直接訪問本地內(nèi)存 node 節(jié)點延遲最小。



可以通過lscpu 命令查看 NUMA 與 CPU 核的關(guān)系。

$ lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                32
On-line CPU(s) list:   0-31
Thread(s) per core:    2
Core(s) per socket:    8
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 62
Stepping:              4
CPU MHz:               2001.000
BogoMIPS:              3999.43
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              20480K
NUMA node0 CPU(s):     0-7,16-23      #這些核綁定在numa 0
NUMA node1 CPU(s):     8-15,24-31     #這些核綁定在numa 1

4）伙伴關(guān)系算法

Linux 內(nèi)核通過著名伙伴關(guān)系算法為分配一組連續(xù)的頁框而建立一種健壯、穩(wěn)定的內(nèi)存分配策略，是內(nèi)核中一種內(nèi)存分配器，并解決了內(nèi)存管理外碎片的問題，外碎片是指頻繁地請求和釋放不同大小的一組連續(xù)頁框，必然導致在已分配的頁框的塊分散了許多小塊的空閑頁框。

5）Slab 機制

slab機制的核心思想是以對象的觀點來管理內(nèi)存，主要是為了解決內(nèi)部碎片，內(nèi)部碎片是由于采用固定大小的內(nèi)存分區(qū)，即以固定的大小塊為單位來分配，采用這種方法，進程所分配的內(nèi)存可能會比所需要的大，這多余的部分便是內(nèi)部碎片。slab 也是內(nèi)核中一種內(nèi)存分配器，slab 分配器基于對象進行管理的，所謂的對象就是內(nèi)核中的數(shù)據(jù)結(jié)構(gòu)（例如：task_struct,file_struct 等）。

相同類型的對象歸為一類，每當要申請這樣一個對象時，slab 分配器就從一個 slab 列表中分配一個這樣大小的單元出去，而當要釋放時，將其重新保存在該列表中，而不是直接返回給伙伴系統(tǒng)，從而避免內(nèi)部碎片。上面中說到的 dentry 對象就是通過 slab 分配器分配的一種對象。

slab 和伙伴系統(tǒng)是上下級的調(diào)用關(guān)系，伙伴關(guān)系按照頁管理內(nèi)存，slab 按照字節(jié)管理，slab 先從伙伴系統(tǒng)獲取數(shù)個頁的內(nèi)存，然后切成分成固定的小塊（稱為 object），然后再按照聲明的對象數(shù)據(jù)結(jié)構(gòu)分配對象。

6）進程內(nèi)存分布

所有進程都必須占用一定數(shù)量的內(nèi)存，這些內(nèi)存用來存放從磁盤載入的程序代碼，或存放來自用戶輸入的數(shù)據(jù)等。內(nèi)存可以提前靜態(tài)分配和統(tǒng)一回收，也可以按需動態(tài)分配和回收。對于普通進程對應的內(nèi)存空間包含 5 種不同的數(shù)據(jù)區(qū)：

a、代碼段 (text)：程序代碼在內(nèi)存中的映射，存放函數(shù)體的二進制代碼，通常用于存放程序執(zhí)行代碼 (即 CPU 執(zhí)行的機器指令)。

b、數(shù)據(jù)段 (data)：存放程序中已初始化且初值不為 0 的全局變量和靜態(tài)局部變量。數(shù)據(jù)段屬于靜態(tài)內(nèi)存分配 (靜態(tài)存儲區(qū))，可讀可寫。

c、BSS 段 (bss)：未初始化的全局變量和靜態(tài)局部變量。

d、堆 (heap)：動態(tài)分配的內(nèi)存段，大小不固定，可動態(tài)擴張 (malloc 等函數(shù)分配內(nèi)存)，或動態(tài)縮減 (free 等函數(shù)釋放)。

e、棧 (stack)：存放臨時創(chuàng)建的局部變量。

Linux 內(nèi)核是操作系統(tǒng)中優(yōu)先級最高的，內(nèi)核函數(shù)申請內(nèi)存必須及時分配適當?shù)膬?nèi)存，用戶態(tài)進程申請內(nèi)存被認為是不緊迫的，內(nèi)核盡量推遲給用戶態(tài)的進程動態(tài)分配內(nèi)存。

a、請求調(diào)頁，推遲到進程要訪問的頁不在 RAM 中時為止，引發(fā)一個缺頁異常。

b、寫時復制 (COW)，父、子進程共享頁框而不是復制頁框，但是共享頁框不能被修改，只有當父 / 子進程試圖改寫共享頁框時，內(nèi)核才將共享頁框復制一個新的頁框并標記為可寫。

7）Linux 內(nèi)存檢測工具

a、free 命令可以監(jiān)控系統(tǒng)內(nèi)存

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           31Gi        13Gi       8.0Gi       747Mi        10Gi        16Gi
Swap:         2.0Gi       321Mi       1.7Gi

b、top 命令查看系統(tǒng)內(nèi)存以及進程內(nèi)存

?VIRTVirtual Memory Size (KiB)：進程使用的所有虛擬內(nèi)存，包括代碼（code）、數(shù)據(jù)（data）、共享庫（shared libraries），以及被換出（swap out）到交換區(qū)和映射了（map）但尚未使用（未載入實體內(nèi)存）的部分。

?RESResident Memory Size (KiB)：進程所占用的所有實體內(nèi)存（physical memory），不包括被換出到交換區(qū)的部分。

?SHRShared Memory Size (KiB)：進程可讀的全部共享內(nèi)存，并非所有部分都包含在RES中。它反映了可能被其他進程共享的內(nèi)存部分。

c、smaps 文件

cat /proc/$pid/smaps查看某進程虛擬內(nèi)存空間的分布情況

0082f000-00852000 rw-p 0022f000 08:05 4326085    /usr/bin/nginx/sbin/nginx
Size:                140 kB
Rss:                 140 kB
Pss:                  78 kB
Shared_Clean:         56 kB
Shared_Dirty:         68 kB
Private_Clean:         4 kB
Private_Dirty:        12 kB
Referenced:          120 kB
Anonymous:            80 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

d、vmstat vmstat是 Virtual Meomory Statistics（虛擬內(nèi)存統(tǒng)計）的縮寫，可實時動態(tài)監(jiān)視操作系統(tǒng)的虛擬內(nèi)存、進程、CPU 活動。

## 每秒統(tǒng)計3次
$ vmstat13
procs -----------memory---------------- ---swap-- -----io---- --system-- -----cpu-----
 r  b    swpd   free   buff  cache       si   so    bi    bo   in   cs us sy id  wa st
 000233483840758304207955960001000010000
 000233483936758304207955960000105215690010000
 00023348392075830420795596000096615580010000

e、meminfo 文件

Linux 系統(tǒng)中/proc/meminfo這個文件用來記錄了系統(tǒng)內(nèi)存使用的詳細情況。

$ cat /proc/meminfo
MemTotal:        8052444 kB
MemFree:         2754588 kB
MemAvailable:    3934252 kB
Buffers:          137128 kB
Cached:          1948128 kB
SwapCached:            0 kB
Active:          3650920 kB
Inactive:        1343420 kB
Active(anon):    2913304 kB
Inactive(anon):   727808 kB
Active(file):     737616 kB
Inactive(file):   615612 kB
Unevictable:         196 kB
Mlocked:             196 kB
SwapTotal:       8265724 kB
SwapFree:        8265724 kB
Dirty:               104 kB
Writeback:             0 kB
AnonPages:       2909332 kB
Mapped:           815524 kB
Shmem:            732032 kB
Slab:             153096 kB
SReclaimable:      99684 kB
SUnreclaim:        53412 kB
KernelStack:       14288 kB
PageTables:        62192 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    12291944 kB
Committed_AS:   11398920 kB
VmallocTotal:   34359738367 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB
HardwareCorrupted:     0 kB
AnonHugePages:   1380352 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      201472 kB
DirectMap2M:     5967872 kB
DirectMap1G:     3145728 kB

審核編輯：劉清