Redis的數(shù)據(jù)被刪除，內(nèi)存占用還這么大？

?

操作系統(tǒng)分配給 Redis 的內(nèi)存有 6GB，通過指標(biāo) used_memory_human 發(fā)現(xiàn)存儲數(shù)據(jù)只使用了 4GB，為何會這樣？為何無法保存數(shù)據(jù)？

通過 CONFIG SET maxmemory 100mb或者在 redis.conf 配置文件設(shè)置 maxmemory 100mb Redis 內(nèi)存占用限制。當(dāng)達(dá)到內(nèi)存最大值，會觸發(fā)內(nèi)存淘汰策略刪除數(shù)據(jù)。

除此之外，當(dāng) key 達(dá)到過期時間，Redis 會有以下兩種刪除過期數(shù)據(jù)的策略：

• 后臺定時任務(wù)選取部分?jǐn)?shù)據(jù)刪除；
• 惰性刪除。

具體原理請移步《Redis 的過期數(shù)據(jù)刪除那些事》。

?

假設(shè) Redis 實(shí)例保存了 5GB 的數(shù)據(jù)，現(xiàn)在刪除了 2GB 數(shù)據(jù)，Redis 進(jìn)程占用的內(nèi)存一定會降低么？（也叫做 RSS，進(jìn)程消耗內(nèi)存頁數(shù)）。

答案是：可能依然占用了大約 5GB 的內(nèi)存，即使 Redis 的數(shù)據(jù)只占用了 3GB 左右。

大家一定要設(shè)置maxmemory，否則 Redis 會繼續(xù)為新寫入的數(shù)據(jù)分配內(nèi)存，無法分配就會導(dǎo)致應(yīng)用程序報(bào)錯，當(dāng)然不會導(dǎo)致宕機(jī)。

釋放的內(nèi)存去哪了

?

明明刪除了數(shù)據(jù)，使用 top 命令查看，為何還是占用了那么多內(nèi)存？

內(nèi)存都去哪了？使用 info memory 命令獲取 Redis 內(nèi)存相關(guān)指標(biāo)，我列舉了幾個重要的數(shù)據(jù)：

127.0.0.1:6379>infomemory
#Memory
used_memory:1132832//Redis存儲數(shù)據(jù)占用的內(nèi)存量
used_memory_human:1.08M//人類可讀形式返回內(nèi)存總量
used_memory_rss:2977792//操作系統(tǒng)角度，進(jìn)程占用的物理總內(nèi)存
used_memory_rss_human:2.84M//used_memory_rss可讀性模式展示
used_memory_peak:1183808//內(nèi)存使用的最大值，表示used_memory的峰值

used_memory_peak_human:1.13M//以可讀的格式返回used_memory_peak的值
used_memory_lua:37888 // Lua 引擎所消耗的內(nèi)存大小。
used_memory_lua_human:37.00K
maxmemory:2147483648 //能使用的最大內(nèi)存值，字節(jié)為單位。
maxmemory_human:2.00G//可讀形式
maxmemory_policy:noeviction//內(nèi)存淘汰策略

//used_memory_rss/used_memory的比值，代表內(nèi)存碎片率
mem_fragmentation_ratio:2.79

Redis 進(jìn)程內(nèi)存消耗主要由以下部分組成：

• Redis 自身啟動所占用的內(nèi)存；
• 存儲對象數(shù)據(jù)內(nèi)存；
• 緩沖區(qū)內(nèi)存：主要由 client-output-buffer-limit 客戶端輸出緩沖區(qū)、復(fù)制積壓緩沖區(qū)、AOF 緩沖區(qū)。
• 內(nèi)存碎片。

內(nèi)存占用

Redis 自身空進(jìn)程占用的內(nèi)存很小可以忽略不計(jì)，對象內(nèi)存是占比最大的一塊，里面存儲著所有的數(shù)據(jù)。

緩沖區(qū)內(nèi)存在大流量場景容易失控，造成 Redis 內(nèi)存不穩(wěn)定，需要重點(diǎn)關(guān)注。

內(nèi)存碎片過大會導(dǎo)致明明有空間可用，但是卻無法存儲數(shù)據(jù)。

碎片 = used_memory_rss 實(shí)際使用的物理內(nèi)存（RSS 值）除以 used_memory 實(shí)際存儲數(shù)據(jù)內(nèi)存。

什么是內(nèi)存碎片

內(nèi)存碎片會造成明明有內(nèi)存空間空閑，可是卻無法存儲數(shù)據(jù)。舉個例子，你跟漂亮小姐姐去電影院看電影，肯定想連在一塊。

假設(shè)現(xiàn)在有 8 個座位，已經(jīng)賣出了 4 張票，還有 4 張可以買?？墒呛们刹磺桑I票的人很奇葩，分別間隔一個座位買票。

即使還有 4 個座位空閑，可是你卻買不到兩個座位連在一塊的票，厚禮蟹！

內(nèi)存碎片

內(nèi)存碎片形成原因

?

內(nèi)存碎片是什么原因?qū)е履兀?/p>

主要有兩個原因：

• 內(nèi)存分配器的分配策略。
• 鍵值對的大小不一樣和刪改操作：Redis 頻繁做更新操作、大量過期數(shù)據(jù)刪除，釋放的空間（不夠連續(xù)）無法得到復(fù)用，導(dǎo)致碎片率上升。

接下來我分別探討實(shí)際發(fā)生的原因……

內(nèi)存分配器的分配策略

Redis 默認(rèn)的內(nèi)存分配器采用 jemalloc，可選的分配器還有：glibc、tcmalloc。

內(nèi)存分配器并不能做到按需分配，而是采用固定范圍的內(nèi)存塊進(jìn)行分配。

例如 8 字節(jié)、16 字節(jié)…..，2 KB，4KB，當(dāng)申請內(nèi)存最近接某個固定值的時候，jemalloc 會給它分配最接近固定值大小的空間。

這樣就會出現(xiàn)內(nèi)存碎片，比如程序只需要 1.5 KB，內(nèi)存分配器會分配 2KB 空間，那么這 0.5KB 就是碎片。

這么做的目的是減少內(nèi)存分配次數(shù)，比如申請 22 字節(jié)的空間保存數(shù)據(jù)，jemalloc 就會分配 32 字節(jié)，如果后邊還要寫入 10 字節(jié)，就不需要再向操作系統(tǒng)申請空間了，可以使用之前申請的 32 字節(jié)。

刪除 key 的時候，Redis 并不會立馬把內(nèi)存歸還給操作系統(tǒng)，出現(xiàn)這個情況是因?yàn)榈讓觾?nèi)存分配器管理導(dǎo)致，比如大多數(shù)已經(jīng)刪除的 key 依然與其他有效的 key 分配在同一個內(nèi)存頁中。

另外，分配器為了復(fù)用空閑的內(nèi)存塊，原有 5GB 的數(shù)據(jù)中刪除了 2 GB 后，當(dāng)再次添加數(shù)據(jù)到實(shí)例中，Redis 的 RSS 會保持穩(wěn)定，不會增長太多。

因?yàn)?strong style="font-weight:bold;color:rgba(0,0,0,.85);">內(nèi)存分配器基本上復(fù)用了之前刪除釋放出來的 2GB 內(nèi)存。

鍵值對大小不一樣和刪改操作

由于內(nèi)存分配器是按照固定大小分配內(nèi)存，所以通常分配的內(nèi)存空間比實(shí)際數(shù)據(jù)占用的大小多一些，會造成碎片，降低內(nèi)存的存儲效率。

另外，鍵值對的頻繁修改和刪除，導(dǎo)致內(nèi)存空間的擴(kuò)容和釋放，比如原本占用 32 字節(jié)的字符串，現(xiàn)在修改為占用 20 字節(jié)的字符串，那么釋放出的 12 字節(jié)就是空閑空間。

如果下一個數(shù)據(jù)存儲請求需要申請 13 字節(jié)的字符串，那么剛剛釋放的 12 字節(jié)空間無法使用，導(dǎo)致碎片。

碎片最大的問題：空間總量足夠大，但是這些內(nèi)存不是連續(xù)的，可能大致無法存儲數(shù)據(jù)。

內(nèi)存碎片解決之道

?

那該如何解決呢？

首先要確定是否發(fā)生了內(nèi)存碎片，重點(diǎn)關(guān)注前面 INFO memory 命令提示的 mem_fragmentation_ratio 指標(biāo)，表示內(nèi)存碎片率：

mem_fragmentation_ratio=used_memory_rss/used_memory

如果 1 < 碎片率 < 1.5，可以認(rèn)為是合理的，而大于 1.5 說明碎片已經(jīng)超過 50%，我們需要采取一些手段解決碎片率過大的問題。

重啟大法

最簡單粗暴的方式就是重啟，如果沒有開啟持久化，數(shù)據(jù)會丟失。

開啟持久化的話，需要使用 RDB 或者 AOF 恢復(fù)數(shù)據(jù)，如果只有一個實(shí)例，數(shù)據(jù)大的話會導(dǎo)致恢復(fù)階段長時間無法提供服務(wù)，高可用大打折扣。

?

咋辦呢？碼哥靚仔

自動清理內(nèi)存碎片

既然你都叫我靚仔了，就傾囊相助告訴你終極殺招：Redis 4.0 版本后，自身提供了一種內(nèi)存碎片清理機(jī)制。

?

怎么清理呢？

很簡單，還是上面的例子，想要買兩張連在一塊的電影票。與與別人溝通調(diào)換下位置，就實(shí)現(xiàn)了。

對于 Redis 來說，當(dāng)一塊連續(xù)的內(nèi)存空間被劃分為好幾塊不連續(xù)的空間的時候，操作系統(tǒng)先把數(shù)據(jù)以依次挪動拼接在一塊，并釋放原來數(shù)據(jù)占據(jù)的空間，形成一塊連續(xù)空閑內(nèi)存空間。。

如下圖所示：

碎片清理

自動清理內(nèi)存碎片的代價(jià)

自動清理雖好，可不要肆意妄為，操作系統(tǒng)把數(shù)據(jù)移動到新位置，再把原有空間釋放是需要消耗資源的。

Redis 操作數(shù)據(jù)的指令是單線程，所以在數(shù)據(jù)復(fù)制移動的時候，只能等待清理碎片完成才能處理請求，造成性能損耗。

?

如何避免清理碎片對性能的影響又能實(shí)現(xiàn)自動清理呢？

好問題，通過以下兩個參數(shù)來控制內(nèi)存碎片清理和結(jié)束時機(jī)，避免占用 CPU 過多，減少清理碎片對 Redis 處理請求的性能影響。

開啟自動內(nèi)存碎片清理

CONFIGSETactivedefragyes

這只是開啟自動清理，何時清理要同時滿足以下兩個條件才會觸發(fā)清理操作。

清理的條件

active-defrag-ignore-bytes 200mb：內(nèi)存碎片占用的內(nèi)存達(dá)到 200MB，開始清理；

active-defrag-threshold-lower 20：內(nèi)存碎片的空間占比超過系統(tǒng)分配給 Redis 空間的 20% ，開始清理。

避免對性能造成影響

清理時間有了，還需要控制清理對性能的影響。由一項(xiàng)兩個設(shè)置先分配清理碎片占用的 CPU 資源，保證既能正常清理碎片，又能避免對 Redis 處理請求的性能影響。

active-defrag-cycle-min 20：自動清理過程中，占用 CPU 時間的比例不低于 20%，從而保證能正常展開清理任務(wù)。

active-defrag-cycle-max 50：自動清理過程占用的 CPU 時間比例不能高于 50%，超過的話就立刻停止清理，避免對 Redis 的阻塞，造成高延遲。

總結(jié)

如果你發(fā)現(xiàn)明明 Redis 存儲數(shù)據(jù)的內(nèi)存占用遠(yuǎn)小于操作系統(tǒng)分配給 Redis 的內(nèi)存，而又無法保存數(shù)據(jù)，那可能出現(xiàn)大量內(nèi)存碎片了。

通過 info memory 命令，看下內(nèi)存碎片mem_fragmentation_ratio 指標(biāo)是否正常。

那么我們就開啟自動清理并合理設(shè)置清理時機(jī)和 CPU 資源占用，該機(jī)制涉及到內(nèi)存拷貝，會對 Redis 性能造成潛在風(fēng)險(xiǎn)。

如果遇到 Redis 性能變慢，排查下是否由于清理碎片導(dǎo)致，如果是，那就調(diào)小 active-defrag-cycle-max 的值。

審核編輯 ：李倩