0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何使用Redis更節(jié)省內(nèi)存?

jf_ro2CN3Fa ? 來源:水滴與銀彈 ? 作者:水滴與銀彈 ? 2022-12-19 15:41 ? 次閱讀


前言

這篇文章我想和你聊一聊 Redis 的最佳實(shí)踐。

你的項(xiàng)目或許已經(jīng)使用 Redis 很長時(shí)間了,但在使用過程中,你可能還會(huì)或多或少地遇到以下問題:

  • 我的 Redis 內(nèi)存為什么增長這么快?
  • 為什么我的 Redis 操作延遲變大了?
  • 如何降低 Redis 故障發(fā)生的頻率?
  • 日常運(yùn)維 Redis 需要注意什么?
  • 部署 Redis 時(shí),如何做好資源規(guī)劃?
  • Redis 監(jiān)控重點(diǎn)要關(guān)注哪些指標(biāo)?

尤其是當(dāng)你的項(xiàng)目越來越依賴 Redis 時(shí),這些問題就變得尤為重要。

此時(shí),你迫切需要一份「最佳實(shí)踐指南」 。

這篇文章,我將從以下七個(gè)維度,帶你「全面」分析 Redis 的最佳實(shí)踐優(yōu)化:

  • 內(nèi)存
  • 性能
  • 高可靠
  • 日常運(yùn)維
  • 資源規(guī)劃
  • 監(jiān)控
  • 安全

基于 Spring Boot + MyBatis Plus + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序,支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

  • 項(xiàng)目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

如何使用 Redis 更節(jié)省內(nèi)存?

首先,我們來看一下 Redis 內(nèi)存方面的優(yōu)化。

眾所周知,Redis 的性能之所以如此之高,原因就在于它的數(shù)據(jù)都存儲(chǔ)在「內(nèi)存」中,所以訪問 Redis 中的數(shù)據(jù)速度極快。

但從資源利用率層面來說,機(jī)器的內(nèi)存資源相比于磁盤,還是比較昂貴的。

當(dāng)你的業(yè)務(wù)應(yīng)用在 Redis 中存儲(chǔ)數(shù)據(jù)很少時(shí),你可能并不太關(guān)心內(nèi)存資源的使用情況。但隨著業(yè)務(wù)的發(fā)展,你的業(yè)務(wù)存儲(chǔ)在 Redis 中的數(shù)據(jù)就會(huì)越來越多。

如果沒有提前制定好內(nèi)存優(yōu)化策略,那么等業(yè)務(wù)開始增長時(shí),Redis 占用的內(nèi)存也會(huì)開始膨脹。

所以,提前制定合理的內(nèi)存優(yōu)化策略,對(duì)于資源利用率的提升是很有必要的。

那在使用 Redis 時(shí),怎樣做才能更節(jié)省內(nèi)存呢?這里我給你總結(jié)了 6 點(diǎn)建議,我們依次來看:

1) 控制 key 的長度

最簡單直接的內(nèi)存優(yōu)化,就是控制 key 的長度。

在開發(fā)業(yè)務(wù)時(shí),你需要提前預(yù)估整個(gè) Redis 中寫入 key 的數(shù)量,如果 key 數(shù)量達(dá)到了百萬級(jí)別,那么,過長的 key 名也會(huì)占用過多的內(nèi)存空間。

所以,你需要保證 key 在簡單、清晰的前提下,盡可能把 key 定義得短一些。

例如,原有的 key 為 user123,則可以優(yōu)化為 u123。

這樣一來,你的 Redis 就可以節(jié)省大量的內(nèi)存,這個(gè)方案對(duì)內(nèi)存的優(yōu)化非常直接和高效。

2) 避免存儲(chǔ) bigkey

除了控制 key 的長度之外,你同樣需要關(guān)注 value 的大小,如果大量存儲(chǔ) bigkey,也會(huì)導(dǎo)致 Redis 內(nèi)存增長過快。

除此之外,客戶端在讀寫 bigkey 時(shí),還有產(chǎn)生性能問題(下文會(huì)具體詳述)。

所以,你要避免在 Redis 中存儲(chǔ) bigkey,我給你的建議是:

  • String:大小控制在 10KB 以下
  • List/Hash/Set/ZSet:元素?cái)?shù)量控制在 1 萬以下

3) 選擇合適的數(shù)據(jù)類型

Redis 提供了豐富的數(shù)據(jù)類型,這些數(shù)據(jù)類型在實(shí)現(xiàn)上,也對(duì)內(nèi)存使用做了優(yōu)化。具體來說就是,一種數(shù)據(jù)類型對(duì)應(yīng)多種數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn):

1082542e-7f1d-11ed-8abf-dac502259ad0.png

例如,String、Set 在存儲(chǔ) int 數(shù)據(jù)時(shí),會(huì)采用整數(shù)編碼存儲(chǔ)。Hash、ZSet 在元素?cái)?shù)量比較少時(shí)(可配置),會(huì)采用壓縮列表(ziplist)存儲(chǔ),在存儲(chǔ)比較多的數(shù)據(jù)時(shí),才會(huì)轉(zhuǎn)換為哈希表和跳表。

作者這么設(shè)計(jì)的原因,就是為了進(jìn)一步節(jié)約內(nèi)存資源。

那么你在存儲(chǔ)數(shù)據(jù)時(shí),就可以利用這些特性來優(yōu)化 Redis 的內(nèi)存。這里我給你的建議如下:

  • String、Set:盡可能存儲(chǔ) int 類型數(shù)據(jù)
  • Hash、ZSet:存儲(chǔ)的元素?cái)?shù)量控制在轉(zhuǎn)換閾值之下,以壓縮列表存儲(chǔ),節(jié)約內(nèi)存

4) 把 Redis 當(dāng)作緩存使用

Redis 數(shù)據(jù)存儲(chǔ)在內(nèi)存中,這也意味著其資源是有限的。你在使用 Redis 時(shí),要把它當(dāng)做緩存來使用,而不是數(shù)據(jù)庫。

所以,你的應(yīng)用寫入到 Redis 中的數(shù)據(jù),盡可能地都設(shè)置「過期時(shí)間」。

業(yè)務(wù)應(yīng)用在 Redis 中查不到數(shù)據(jù)時(shí),再從后端數(shù)據(jù)庫中加載到 Redis 中。

108fd126-7f1d-11ed-8abf-dac502259ad0.jpg

采用這種方案,可以讓 Redis 中只保留經(jīng)常訪問的「熱數(shù)據(jù)」,內(nèi)存利用率也會(huì)比較高。

5) 實(shí)例設(shè)置 maxmemory + 淘汰策略

雖然你的 Redis key 都設(shè)置了過期時(shí)間,但如果你的業(yè)務(wù)應(yīng)用寫入量很大,并且過期時(shí)間設(shè)置得比較久,那么短期間內(nèi) Redis 的內(nèi)存依舊會(huì)快速增長。

如果不控制 Redis 的內(nèi)存上限,也會(huì)導(dǎo)致使用過多的內(nèi)存資源。

對(duì)于這種場景,你需要提前預(yù)估業(yè)務(wù)數(shù)據(jù)量,然后給這個(gè)實(shí)例設(shè)置 maxmemory 控制實(shí)例的內(nèi)存上限,這樣可以避免 Redis 的內(nèi)存持續(xù)膨脹。

配置了 maxmemory,此時(shí)你還要設(shè)置數(shù)據(jù)淘汰策略,而淘汰策略如何選擇,你需要結(jié)合你的業(yè)務(wù)特點(diǎn)來決定:

  • volatile-lru / allkeys-lru:優(yōu)先保留最近訪問過的數(shù)據(jù)
  • volatile-lfu / allkeys-lfu:優(yōu)先保留訪問次數(shù)最頻繁的數(shù)據(jù)(4.0+版本支持)
  • volatile-ttl :優(yōu)先淘汰即將過期的數(shù)據(jù)
  • volatile-random / allkeys-random:隨機(jī)淘汰數(shù)據(jù)

6) 數(shù)據(jù)壓縮后寫入 Redis

以上方案基本涵蓋了 Redis 內(nèi)存優(yōu)化的各個(gè)方面。

如果你還想進(jìn)一步優(yōu)化 Redis 內(nèi)存,你還可以在業(yè)務(wù)應(yīng)用中先將數(shù)據(jù)壓縮,再寫入到 Redis 中(例如采用 snappy、gzip 等壓縮算法)。

當(dāng)然,壓縮存儲(chǔ)的數(shù)據(jù),客戶端在讀取時(shí)還需要解壓縮,在這期間會(huì)消耗更多 CPU 資源,你需要根據(jù)實(shí)際情況進(jìn)行權(quán)衡。

以上就是「節(jié)省內(nèi)存資源」方面的實(shí)踐優(yōu)化,是不是都比較簡單?

下面我們來看「性能」方面的優(yōu)化。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序,支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

  • 項(xiàng)目地址:https://github.com/YunaiV/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/

如何持續(xù)發(fā)揮 Redis 的高性能?

當(dāng)你的系統(tǒng)決定引入 Redis 時(shí),想必看中它最關(guān)鍵的一點(diǎn)就是:性能 。

我們知道,一個(gè)單機(jī)版 Redis 就可以達(dá)到 10W QPS,這么高的性能,也意味著如果在使用過程中發(fā)生延遲情況,就會(huì)與我們的預(yù)期不符。

所以,在使用 Redis 時(shí),如何持續(xù)發(fā)揮它的高性能,避免操作延遲的情況發(fā)生,也是我們的關(guān)注焦點(diǎn)。

在這方面,我給你總結(jié)了 13 條建議:

1) 避免存儲(chǔ) bigkey

存儲(chǔ) bigkey 除了前面講到的使用過多內(nèi)存之外,對(duì) Redis 性能也會(huì)有很大影響。

由于 Redis 處理請(qǐng)求是單線程的,當(dāng)你的應(yīng)用在寫入一個(gè) bigkey 時(shí),更多時(shí)間將消耗在「內(nèi)存分配」上,這時(shí)操作延遲就會(huì)增加。同樣地,刪除一個(gè) bigkey 在「釋放內(nèi)存」時(shí),也會(huì)發(fā)生耗時(shí)。

而且,當(dāng)你在讀取這個(gè) bigkey 時(shí),也會(huì)在「網(wǎng)絡(luò)數(shù)據(jù)傳輸」上花費(fèi)更多時(shí)間,此時(shí)后面待執(zhí)行的請(qǐng)求就會(huì)發(fā)生排隊(duì),Redis 性能下降。

109fe3c2-7f1d-11ed-8abf-dac502259ad0.jpg

所以,你的業(yè)務(wù)應(yīng)用盡量不要存儲(chǔ) bigkey,避免操作延遲發(fā)生。

如果你確實(shí)有存儲(chǔ) bigkey 的需求,你可以把 bigkey 拆分為多個(gè)小 key 存儲(chǔ)。

2) 開啟 lazy-free 機(jī)制

如果你無法避免存儲(chǔ) bigkey,那么我建議你開啟 Redis 的 lazy-free 機(jī)制。(4.0+版本支持)

當(dāng)開啟這個(gè)機(jī)制后,Redis 在刪除一個(gè) bigkey 時(shí),釋放內(nèi)存的耗時(shí)操作,將會(huì)放到后臺(tái)線程中去執(zhí)行,這樣可以在最大程度上,避免對(duì)主線程的影響。

10ab5a5e-7f1d-11ed-8abf-dac502259ad0.jpg

3) 不使用復(fù)雜度過高的命令

Redis 是單線程模型處理請(qǐng)求,除了操作 bigkey 會(huì)導(dǎo)致后面請(qǐng)求發(fā)生排隊(duì)之外,在執(zhí)行復(fù)雜度過高的命令時(shí),也會(huì)發(fā)生這種情況。

因?yàn)閳?zhí)行復(fù)雜度過高的命令,會(huì)消耗更多的 CPU 資源,主線程中的其它請(qǐng)求只能等待,這時(shí)也會(huì)發(fā)生排隊(duì)延遲。

所以,你需要避免執(zhí)行例如 SORT、SINTER、SINTERSTORE、ZUNIONSTORE、ZINTERSTORE 等聚合類命令。

對(duì)于這種聚合類操作,我建議你把它放到客戶端來執(zhí)行,不要讓 Redis 承擔(dān)太多的計(jì)算工作。

4) 執(zhí)行 O(N) 命令時(shí),關(guān)注 N 的大小

規(guī)避使用復(fù)雜度過高的命令,就可以高枕無憂了么?

答案是否定的。

當(dāng)你在執(zhí)行 O(N) 命令時(shí),同樣需要注意 N 的大小。

如果一次性查詢過多的數(shù)據(jù),也會(huì)在網(wǎng)絡(luò)傳輸過程中耗時(shí)過長,操作延遲變大。

所以,對(duì)于容器類型(List/Hash/Set/ZSet),在元素?cái)?shù)量未知的情況下,一定不要無腦執(zhí)行 LRANGE key 0 -1 / HGETALL / SMEMBERS / ZRANGE key 0 -1。

在查詢數(shù)據(jù)時(shí),你要遵循以下原則:

  1. 先查詢數(shù)據(jù)元素的數(shù)量(LLEN/HLEN/SCARD/ZCARD)
  2. 元素?cái)?shù)量較少,可一次性查詢?nèi)繑?shù)據(jù)
  3. 元素?cái)?shù)量非常多,分批查詢數(shù)據(jù)(LRANGE/HASCAN/SSCAN/ZSCAN)

5) 關(guān)注 DEL 時(shí)間復(fù)雜度

你沒看錯(cuò),在刪除一個(gè) key 時(shí),如果姿勢不對(duì),也有可能影響到 Redis 性能。

刪除一個(gè) key,我們通常使用的是 DEL 命令,回想一下,你覺得 DEL 的時(shí)間復(fù)雜度是多少?

O(1) ?其實(shí)不一定。

當(dāng)你刪除的是一個(gè) String 類型 key 時(shí),時(shí)間復(fù)雜度確實(shí)是 O(1)。

但當(dāng)你要?jiǎng)h除的 key 是 List/Hash/Set/ZSet 類型,它的復(fù)雜度其實(shí)為 O(N),N 代表元素個(gè)數(shù)。

也就是說,刪除一個(gè) key,其元素?cái)?shù)量越多,執(zhí)行 DEL 也就越慢!

原因在于,刪除大量元素時(shí),需要依次回收每個(gè)元素的內(nèi)存,元素越多,花費(fèi)的時(shí)間也就越久!

而且,這個(gè)過程默認(rèn)是在主線程中執(zhí)行的,這勢必會(huì)阻塞主線程,產(chǎn)生性能問題。

那刪除這種元素比較多的 key,如何處理呢?

我給你的建議是,分批刪除:

  • List類型:執(zhí)行多次 LPOP/RPOP,直到所有元素都刪除完成
  • Hash/Set/ZSet類型:先執(zhí)行 HSCAN/SSCAN/SCAN 查詢?cè)?,再?zhí)行 HDEL/SREM/ZREM 依次刪除每個(gè)元素

沒想到吧?一個(gè)小小的刪除操作,稍微不小心,也有可能引發(fā)性能問題,你在操作時(shí)需要格外注意。

6) 批量命令代替單個(gè)命令

當(dāng)你需要一次性操作多個(gè) key 時(shí),你應(yīng)該使用批量命令來處理。

批量操作相比于多次單個(gè)操作的優(yōu)勢在于,可以顯著減少客戶端、服務(wù)端的來回網(wǎng)絡(luò) IO 次數(shù)。

所以我給你的建議是:

  • String / Hash 使用 MGET/MSET 替代 GET/SET,HMGET/HMSET 替代 HGET/HSET
  • 其它數(shù)據(jù)類型使用 Pipeline,打包一次性發(fā)送多個(gè)命令到服務(wù)端執(zhí)行
10be76f2-7f1d-11ed-8abf-dac502259ad0.jpg

7) 避免集中過期 key

Redis 清理過期 key 是采用定時(shí) + 懶惰的方式來做的,而且這個(gè)過程都是在主線程中執(zhí)行。

如果你的業(yè)務(wù)存在大量 key 集中過期的情況,那么 Redis 在清理過期 key 時(shí),也會(huì)有阻塞主線程的風(fēng)險(xiǎn)。

10ce03ce-7f1d-11ed-8abf-dac502259ad0.jpg

想要避免這種情況發(fā)生,你可以在設(shè)置過期時(shí)間時(shí),增加一個(gè)隨機(jī)時(shí)間,把這些 key 的過期時(shí)間打散,從而降低集中過期對(duì)主線程的影響。

8) 使用長連接操作 Redis,合理配置連接池

你的業(yè)務(wù)應(yīng)該使用長連接操作 Redis,避免短連接。

當(dāng)使用短連接操作 Redis 時(shí),每次都需要經(jīng)過 TCP 三次握手、四次揮手,這個(gè)過程也會(huì)增加操作耗時(shí)。

同時(shí),你的客戶端應(yīng)該使用連接池的方式訪問 Redis,并設(shè)置合理的參數(shù),長時(shí)間不操作 Redis 時(shí),需及時(shí)釋放連接資源。

9) 只使用 db0

盡管 Redis 提供了 16 個(gè) db,但我只建議你使用 db0。

為什么呢?我總結(jié)了以下 3 點(diǎn)原因:

  1. 在一個(gè)連接上操作多個(gè) db 數(shù)據(jù)時(shí),每次都需要先執(zhí)行 SELECT,這會(huì)給 Redis 帶來額外的壓力
  2. 使用多個(gè) db 的目的是,按不同業(yè)務(wù)線存儲(chǔ)數(shù)據(jù),那為何不拆分多個(gè)實(shí)例存儲(chǔ)呢?拆分多個(gè)實(shí)例部署,多個(gè)業(yè)務(wù)線不會(huì)互相影響,還能提高 Redis 的訪問性能
  3. Redis Cluster 只支持 db0,如果后期你想要遷移到 Redis Cluster,遷移成本高

10) 使用讀寫分離 + 分片集群

如果你的業(yè)務(wù)讀請(qǐng)求量很大,那么可以采用部署多個(gè)從庫的方式,實(shí)現(xiàn)讀寫分離,讓 Redis 的從庫分擔(dān)讀壓力,進(jìn)而提升性能。

10edbf16-7f1d-11ed-8abf-dac502259ad0.jpg

如果你的業(yè)務(wù)寫請(qǐng)求量很大,單個(gè) Redis 實(shí)例已無法支撐這么大的寫流量,那么此時(shí)你需要使用分片集群,分擔(dān)寫壓力。

10fe060a-7f1d-11ed-8abf-dac502259ad0.jpg

11) 不開啟 AOF 或 AOF 配置為每秒刷盤

如果對(duì)于丟失數(shù)據(jù)不敏感的業(yè)務(wù),我建議你不開啟 AOF,避免 AOF 寫磁盤拖慢 Redis 的性能。

如果確實(shí)需要開啟 AOF,那么我建議你配置為 appendfsync everysec,把數(shù)據(jù)持久化的刷盤操作,放到后臺(tái)線程中去執(zhí)行,盡量降低 Redis 寫磁盤對(duì)性能的影響。

12) 使用物理機(jī)部署 Redis

Redis 在做數(shù)據(jù)持久化時(shí),采用創(chuàng)建子進(jìn)程的方式進(jìn)行。

而創(chuàng)建子進(jìn)程會(huì)調(diào)用操作系統(tǒng)的 fork 系統(tǒng)調(diào)用,這個(gè)系統(tǒng)調(diào)用的執(zhí)行耗時(shí),與系統(tǒng)環(huán)境有關(guān)。

虛擬機(jī)環(huán)境執(zhí)行 fork 的耗時(shí),要比物理機(jī)慢得多,所以你的 Redis 應(yīng)該盡可能部署在物理機(jī)上。

13) 關(guān)閉操作系統(tǒng)內(nèi)存大頁機(jī)制

Linux 操作系統(tǒng)提供了內(nèi)存大頁機(jī)制,其特點(diǎn)在于,每次應(yīng)用程序向操作系統(tǒng)申請(qǐng)內(nèi)存時(shí),申請(qǐng)單位由之前的 4KB 變?yōu)榱?2MB。

這會(huì)導(dǎo)致什么問題呢?

當(dāng) Redis 在做數(shù)據(jù)持久化時(shí),會(huì)先 fork 一個(gè)子進(jìn)程,此時(shí)主進(jìn)程和子進(jìn)程共享相同的內(nèi)存地址空間。

當(dāng)主進(jìn)程需要修改現(xiàn)有數(shù)據(jù)時(shí),會(huì)采用寫時(shí)復(fù)制(Copy On Write)的方式進(jìn)行操作,在這個(gè)過程中,需要重新申請(qǐng)內(nèi)存。

如果申請(qǐng)內(nèi)存單位變?yōu)榱?2MB,那么勢必會(huì)增加內(nèi)存申請(qǐng)的耗時(shí),如果此時(shí)主進(jìn)程有大量寫操作,需要修改原有的數(shù)據(jù),那么在此期間,操作延遲就會(huì)變大。

110c5336-7f1d-11ed-8abf-dac502259ad0.jpg

所以,為了避免出現(xiàn)這種問題,你需要在操作系統(tǒng)上關(guān)閉內(nèi)存大頁機(jī)制。

好了,以上這些就是 Redis 「高性能」方面的實(shí)踐優(yōu)化。如果你非常關(guān)心 Redis 的性能問題,可以結(jié)合這些方面針對(duì)性優(yōu)化。

我們?cè)賮砜?Redis 「可靠性」如何保證。

如何保證 Redis 的可靠性?

這里我想提醒你的是,保證 Redis 可靠性其實(shí)并不難,但難的是如何做到「持續(xù)穩(wěn)定」。

下面我會(huì)從「資源隔離」、「多副本」、「故障恢復(fù)」這三大維度,帶你分析保障 Redis 可靠性的最佳實(shí)踐。

1) 按業(yè)務(wù)線部署實(shí)例

提升可靠性的第一步,就是「資源隔離」。

你最好按不同的業(yè)務(wù)線來部署 Redis 實(shí)例,這樣當(dāng)其中一個(gè)實(shí)例發(fā)生故障時(shí),不會(huì)影響到其它業(yè)務(wù)。

這種資源隔離的方案,實(shí)施成本是最低的,但成效卻是非常大的。

2) 部署主從集群

如果你只使用單機(jī)版 Redis,那么就會(huì)存在機(jī)器宕機(jī)服務(wù)不可用的風(fēng)險(xiǎn)。

所以,你需要部署「多副本」實(shí)例,即主從集群,這樣當(dāng)主庫宕機(jī)后,依舊有從庫可以使用,避免了數(shù)據(jù)丟失的風(fēng)險(xiǎn),也降低了服務(wù)不可用的時(shí)間。

在部署主從集群時(shí),你還需要注意,主從庫需要分布在不同機(jī)器上,避免交叉部署。

這么做的原因在于,通常情況下,Redis 的主庫會(huì)承擔(dān)所有的讀寫流量,所以我們一定要優(yōu)先保證主庫的穩(wěn)定性,即使從庫機(jī)器異常,也不要對(duì)主庫造成影響。

而且,有時(shí)我們需要對(duì) Redis 做日常維護(hù),例如數(shù)據(jù)定時(shí)備份等操作,這時(shí)你就可以只在從庫上進(jìn)行,這只會(huì)消耗從庫機(jī)器的資源,也避免了對(duì)主庫的影響。

3) 合理配置主從復(fù)制參數(shù)

在部署主從集群時(shí),如果參數(shù)配置不合理,也有可能導(dǎo)致主從復(fù)制發(fā)生問題:

  • 主從復(fù)制中斷
  • 從庫發(fā)起全量復(fù)制,主庫性能受到影響

在這方面我給你的建議有以下 2 點(diǎn):

  1. 設(shè)置合理的 repl-backlog 參數(shù):過小的 repl-backlog 在寫流量比較大的場景下,主從復(fù)制中斷會(huì)引發(fā)全量復(fù)制數(shù)據(jù)的風(fēng)險(xiǎn)
  2. 設(shè)置合理的 slave client-output-buffer-limit:當(dāng)從庫復(fù)制發(fā)生問題時(shí),過小的 buffer 會(huì)導(dǎo)致從庫緩沖區(qū)溢出,從而導(dǎo)致復(fù)制中斷

4) 部署哨兵集群,實(shí)現(xiàn)故障自動(dòng)切換

只部署了主從節(jié)點(diǎn),但故障發(fā)生時(shí)是無法自動(dòng)切換的,所以,你還需要部署哨兵集群,實(shí)現(xiàn)故障的「自動(dòng)切換」。

而且,多個(gè)哨兵節(jié)點(diǎn)需要分布在不同機(jī)器上,實(shí)例為奇數(shù)個(gè),防止哨兵選舉失敗,影響切換時(shí)間。

以上這些就是保障 Redis「高可靠」實(shí)踐優(yōu)化,你應(yīng)該也發(fā)現(xiàn)了,這些都是部署和運(yùn)維層的優(yōu)化。

除此之外,你可能還會(huì)對(duì) Redis 做一些「日常運(yùn)維」工作,這時(shí)你要注意哪些問題呢?

日常運(yùn)維 Redis 需要注意什么?

如果你是 DBA 運(yùn)維人員,在平時(shí)運(yùn)維 Redis 時(shí),也需要注意以下 6 個(gè)方面。****

1) 禁止使用 KEYS/FLUSHALL/FLUSHDB 命令

執(zhí)行這些命令,會(huì)長時(shí)間阻塞 Redis 主線程,危害極大,所以你必須禁止使用它。

如果確實(shí)想使用這些命令,我給你的建議是:

  • SCAN 替換 KEYS
  • 4.0+版本可使用 FLUSHALL/FLUSHDB ASYNC,清空數(shù)據(jù)的操作放在后臺(tái)線程執(zhí)行

2) 掃描線上實(shí)例時(shí),設(shè)置休眠時(shí)間

不管你是使用 SCAN 掃描線上實(shí)例,還是對(duì)實(shí)例做 bigkey 統(tǒng)計(jì)分析,我建議你在掃描時(shí)一定記得設(shè)置休眠時(shí)間。

防止在掃描過程中,實(shí)例 OPS 過高對(duì) Redis 產(chǎn)生性能抖動(dòng)。

3) 慎用 MONITOR 命令

有時(shí)在排查 Redis 問題時(shí),你會(huì)使用 MONITOR 查看 Redis 正在執(zhí)行的命令。

但如果你的 Redis OPS 比較高,那么在執(zhí)行 MONITOR 會(huì)導(dǎo)致 Redis 輸出緩沖區(qū)的內(nèi)存持續(xù)增長,這會(huì)嚴(yán)重消耗 Redis 的內(nèi)存資源,甚至?xí)?dǎo)致實(shí)例內(nèi)存超過 maxmemory,引發(fā)數(shù)據(jù)淘汰,這種情況你需要格外注意。

111bbc7c-7f1d-11ed-8abf-dac502259ad0.jpg

所以你在執(zhí)行 MONITOR 命令時(shí),一定要謹(jǐn)慎,盡量少用。

4) 從庫必須設(shè)置為 slave-read-only

你的從庫必須設(shè)置為 slave-read-only 狀態(tài),避免從庫寫入數(shù)據(jù),導(dǎo)致主從數(shù)據(jù)不一致。

除此之外,從庫如果是非 read-only 狀態(tài),如果你使用的是 4.0 以下的 Redis,它存在這樣的 Bug:

從庫寫入了有過期時(shí)間的數(shù)據(jù),不會(huì)做定時(shí)清理和釋放內(nèi)存。

這會(huì)造成從庫的內(nèi)存泄露!這個(gè)問題直到 4.0 版本才修復(fù),你在配置從庫時(shí)需要格外注意。

5) 合理配置 timeout 和 tcp-keepalive 參數(shù)

如果因?yàn)榫W(wǎng)絡(luò)原因,導(dǎo)致你的大量客戶端連接與 Redis 意外中斷,恰好你的 Redis 配置的 maxclients 參數(shù)比較小,此時(shí)有可能導(dǎo)致客戶端無法與服務(wù)端建立新的連接(服務(wù)端認(rèn)為超過了 maxclients)。

造成這個(gè)問題原因在于,客戶端與服務(wù)端每建立一個(gè)連接,Redis 都會(huì)給這個(gè)客戶端分配了一個(gè) client fd。

當(dāng)客戶端與服務(wù)端網(wǎng)絡(luò)發(fā)生問題時(shí),服務(wù)端并不會(huì)立即釋放這個(gè) client fd。

什么時(shí)候釋放呢?

Redis 內(nèi)部有一個(gè)定時(shí)任務(wù),會(huì)定時(shí)檢測所有 client 的空閑時(shí)間是否超過配置的 timeout 值。

如果 Redis 沒有開啟 tcp-keepalive 的話,服務(wù)端直到配置的 timeout 時(shí)間后,才會(huì)清理釋放這個(gè) client fd。

在沒有清理之前,如果還有大量新連接進(jìn)來,就有可能導(dǎo)致 Redis 服務(wù)端內(nèi)部持有的 client fd 超過了 maxclients,這時(shí)新連接就會(huì)被拒絕。

針對(duì)這種情況,我給你的優(yōu)化建議是:

  1. 不要配置過高的 timeout:讓服務(wù)端盡快把無效的 client fd 清理掉
  2. Redis 開啟 tcp-keepalive:這樣服務(wù)端會(huì)定時(shí)給客戶端發(fā)送 TCP 心跳包,檢測連接連通性,當(dāng)網(wǎng)絡(luò)異常時(shí),可以盡快清理僵尸 client fd

6) 調(diào)整 maxmemory 時(shí),注意主從庫的調(diào)整順序

Redis 5.0 以下版本存在這樣一個(gè)問題:從庫內(nèi)存如果超過了 maxmemory,也會(huì)觸發(fā)數(shù)據(jù)淘汰。

在某些場景下,從庫是可能優(yōu)先主庫達(dá)到 maxmemory 的(例如在從庫執(zhí)行 MONITOR 命令,輸出緩沖區(qū)占用大量內(nèi)存),那么此時(shí)從庫開始淘汰數(shù)據(jù),主從庫就會(huì)產(chǎn)生不一致。

要想避免此問題,在調(diào)整 maxmemory 時(shí),一定要注意主從庫的修改順序:

  • 調(diào)大 maxmemory:先修改從庫,再修改主庫
  • 調(diào)小 maxmemory:先修改主庫,再修改從庫

直到 Redis 5.0,Redis 才增加了一個(gè)配置 replica-ignore-maxmemory,默認(rèn)從庫超過 maxmemory 不會(huì)淘汰數(shù)據(jù),才解決了此問題。

好了,以上這些就是「日常運(yùn)維」Redis 需要注意的,你可以對(duì)各個(gè)配置項(xiàng)查漏補(bǔ)缺,看有哪些是需要優(yōu)化的。

接下來,我們來看一下,保障 Redis「安全」都需要注意哪些問題。

Redis 安全如何保證?

無論如何,在互聯(lián)網(wǎng)時(shí)代,安全問題一定是我們需要隨時(shí)警戒的。

你可能聽說過 Redis 被注入可執(zhí)行腳本,然后拿到機(jī)器 root 權(quán)限的安全問題,都是因?yàn)樵诓渴?Redis 時(shí),沒有把安全風(fēng)險(xiǎn)注意起來。

針對(duì)這方面,我給你的建議是:

  1. 不要把 Redis 部署在公網(wǎng)可訪問的服務(wù)器上
  2. 部署時(shí)不使用默認(rèn)端口 6379
  3. 以普通用戶啟動(dòng) Redis 進(jìn)程,禁止 root 用戶啟動(dòng)
  4. 限制 Redis 配置文件的目錄訪問權(quán)限
  5. 推薦開啟密碼認(rèn)證
  6. 禁用/重命名危險(xiǎn)命令(KEYS/FLUSHALL/FLUSHDB/CONFIG/EVAL)

只要你把這些做到位,基本上就可以保證 Redis 的安全風(fēng)險(xiǎn)在可控范圍內(nèi)。

至此,我們分析了 Redis 在內(nèi)存、性能、可靠性、日常運(yùn)維方面的最佳實(shí)踐優(yōu)化。

除了以上這些,你還需要做到提前「預(yù)防」。

如何預(yù)防 Redis 問題?

要想提前預(yù)防 Redis 問題,你需要做好以下兩個(gè)方面:

  1. 合理的資源規(guī)劃
  2. 完善的監(jiān)控預(yù)警

先來說資源規(guī)劃。

在部署 Redis 時(shí),如果你可以提前做好資源規(guī)劃,可以避免很多因?yàn)橘Y源不足產(chǎn)生的問題。這方面我給你的建議有以下 3 點(diǎn):

  1. 保證機(jī)器有足夠的 CPU、內(nèi)存、帶寬、磁盤資源
  2. 提前做好容量規(guī)劃,主庫機(jī)器預(yù)留一半內(nèi)存資源,防止主從機(jī)器網(wǎng)絡(luò)故障,引發(fā)大面積全量同步,導(dǎo)致主庫機(jī)器內(nèi)存不足的問題
  3. 單個(gè)實(shí)例內(nèi)存建議控制在 10G 以下,大實(shí)例在主從全量同步、RDB 備份時(shí)有阻塞風(fēng)險(xiǎn)

再來看監(jiān)控如何做。

監(jiān)控預(yù)警是提高穩(wěn)定性的重要環(huán)節(jié),完善的監(jiān)控預(yù)警,可以把問題提前暴露出來,這樣我們才可以快速反應(yīng),把問題最小化。

這方面我給你的建議是:

  1. 做好機(jī)器 CPU、內(nèi)存、帶寬、磁盤監(jiān)控,資源不足時(shí)及時(shí)報(bào)警,任意資源不足都會(huì)影響 Redis 性能
  2. 設(shè)置合理的 slowlog 閾值,并對(duì)其進(jìn)行監(jiān)控,slowlog 過多及時(shí)報(bào)警
  3. 監(jiān)控組件采集 Redis INFO 信息時(shí),采用長連接,避免頻繁的短連接
  4. 做好實(shí)例運(yùn)行時(shí)監(jiān)控,重點(diǎn)關(guān)注 expired_keys、evicted_keys、latest_fork_usec 指標(biāo),這些指標(biāo)短時(shí)突增可能會(huì)有阻塞風(fēng)險(xiǎn)

總結(jié)

好了,總結(jié)一下,這篇文章我?guī)闳娣治隽?Redis 最佳實(shí)踐的優(yōu)化路徑,其中包括內(nèi)存資源、高性能、高可靠、日常運(yùn)維、資源規(guī)劃、監(jiān)控、安全 7 個(gè)維度。

這里我畫成了思維導(dǎo)圖,方便你在實(shí)踐時(shí)做參考。

112b1870-7f1d-11ed-8abf-dac502259ad0.png

我還把這些實(shí)踐優(yōu)化,按照「業(yè)務(wù)開發(fā)」和「運(yùn)維」兩個(gè)維度,進(jìn)一步做了劃分。

并且以「強(qiáng)制」、「推薦」、「參考」3 個(gè)級(jí)別做了標(biāo)注,這樣你在實(shí)踐優(yōu)化時(shí),就會(huì)更明確哪些該做,哪些需要結(jié)合實(shí)際的業(yè)務(wù)場景進(jìn)一步分析。

這些級(jí)別的實(shí)施規(guī)則如下:

  • 強(qiáng)制:需嚴(yán)格遵守,否則危害極大
  • 推薦:推薦遵守,可提升性能、降低內(nèi)存、便于運(yùn)維
  • 參考:根據(jù)業(yè)務(wù)特點(diǎn)參考實(shí)施

如果你是業(yè)務(wù)開發(fā)人員,你需要了解 Redis 的運(yùn)行機(jī)制,例如各個(gè)命令的執(zhí)行時(shí)間復(fù)雜度、數(shù)據(jù)過期策略、數(shù)據(jù)淘汰策略等,使用合理的命令,并結(jié)合業(yè)務(wù)場景進(jìn)行優(yōu)化。

113f8b7a-7f1d-11ed-8abf-dac502259ad0.png

如果你是 DBA 運(yùn)維人員,你需要在資源規(guī)劃、運(yùn)維、監(jiān)控、安全層面做到位,做到未雨綢繆。

115422c4-7f1d-11ed-8abf-dac502259ad0.png

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 磁盤
    +關(guān)注

    關(guān)注

    1

    文章

    355

    瀏覽量

    25096
  • 數(shù)據(jù)結(jié)構(gòu)

    關(guān)注

    3

    文章

    568

    瀏覽量

    40030
  • Redis
    +關(guān)注

    關(guān)注

    0

    文章

    368

    瀏覽量

    10780

原文標(biāo)題:Redis中一個(gè)你絕對(duì)沒用過,但是特別好用性能炸裂的數(shù)據(jù)結(jié)構(gòu),分享!

文章出處:【微信號(hào):芋道源碼,微信公眾號(hào):芋道源碼】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    【愛芯派 Pro 開發(fā)板試用體驗(yàn)】Redis源碼編譯和基準(zhǔn)測試

    Redis基準(zhǔn)測試。測試結(jié)果顯示,愛芯派上Redis性能明顯由于樹莓派4B,這一定程度上說明——愛芯派的CPU、內(nèi)存綜合性能優(yōu)于樹莓派4B。 一、Redis是什么 維基百科的介紹是:
    發(fā)表于 12-10 22:18

    redis是關(guān)系型數(shù)據(jù)庫嗎

    Server)是一個(gè)開源的高性能鍵值對(duì)存儲(chǔ)系統(tǒng)。它使用C語言編寫,具有內(nèi)存中數(shù)據(jù)存儲(chǔ)和持久化到硬盤的功能。Redis支持多種數(shù)據(jù)結(jié)構(gòu),如字符串、哈希表、列表、集合和有序集合等,這使得它可以應(yīng)對(duì)各種類型的應(yīng)用需求。 Redis
    的頭像 發(fā)表于 12-05 10:32 ?1228次閱讀

    redis容器內(nèi)怎么查看redis日志

    redis是一款流行的開源內(nèi)存數(shù)據(jù)庫,常用于緩存、消息隊(duì)列、任務(wù)管理等場景。在使用redis時(shí),了解如何查看redis日志對(duì)于排查問題、監(jiān)控性能和分析應(yīng)用程序行為非常重要。在本文中,我
    的頭像 發(fā)表于 12-05 10:10 ?2945次閱讀

    redis持久化機(jī)制優(yōu)缺點(diǎn)

    Redis是一個(gè)基于內(nèi)存的高性能鍵值存儲(chǔ)系統(tǒng),它提供了多種持久化機(jī)制來保證數(shù)據(jù)的可靠性。本文將詳細(xì)介紹Redis的持久化機(jī)制,并分析其優(yōu)缺點(diǎn)。 一、Redis的持久化機(jī)制簡介
    的頭像 發(fā)表于 12-05 10:03 ?536次閱讀

    redis的lru原理

    Redis是一種基于內(nèi)存的鍵值數(shù)據(jù)庫,它使用了LRU(Least Recently Used)算法來進(jìn)行緩存的數(shù)據(jù)淘汰。LRU算法的核心思想是最近最少使用的數(shù)據(jù)將會(huì)在未來也不常用,因此應(yīng)該優(yōu)先
    的頭像 發(fā)表于 12-05 09:56 ?528次閱讀

    redis的原理和使用場景

    、消息隊(duì)列、實(shí)時(shí)分析、排行榜和計(jì)數(shù)器等場景。本文將詳細(xì)介紹Redis的原理和使用場景。 一、Redis的原理 Redis的原理主要包括以下幾個(gè)方面: 內(nèi)存數(shù)據(jù)庫:
    的頭像 發(fā)表于 12-04 16:29 ?491次閱讀

    redis hash底層實(shí)現(xiàn)原理

    Redis是一個(gè)開源的內(nèi)存數(shù)據(jù)庫,使用鍵值對(duì)存儲(chǔ)數(shù)據(jù)。其中,Redis中的數(shù)據(jù)結(jié)構(gòu)之一就是哈希(Hash),它提供了一種將多個(gè)字段(Field)存儲(chǔ)在一個(gè)鍵(Key)中的方法。那么Redis
    的頭像 發(fā)表于 12-04 16:27 ?484次閱讀

    redis的淘汰策略

    Redis是一種基于內(nèi)存的鍵值存儲(chǔ)系統(tǒng),為了充分利用內(nèi)存Redis采用了一些淘汰策略來管理內(nèi)存空間。淘汰策略的作用是當(dāng)
    的頭像 發(fā)表于 12-04 16:23 ?461次閱讀

    redis和rabbitMQ的區(qū)別

    Redis和RabbitMQ之間的區(qū)別。 架構(gòu)設(shè)計(jì): Redis是一個(gè)內(nèi)存存儲(chǔ)系統(tǒng),它將數(shù)據(jù)存儲(chǔ)在內(nèi)存中,以提供快速的讀寫訪問。因此,Redis
    的頭像 發(fā)表于 12-04 14:48 ?966次閱讀

    為什么使用top命令時(shí),Redis還是占了很多內(nèi)存?

    實(shí)際上,這是因?yàn)椋?dāng)數(shù)據(jù)刪除后,Redis 釋放的內(nèi)存空間會(huì)由內(nèi)存分配器管理,并不會(huì)立即返回給操作系統(tǒng)。所以,操作系統(tǒng)仍然會(huì)記錄著給 Redis 分配了大量
    的頭像 發(fā)表于 12-01 09:25 ?517次閱讀
    為什么使用top命令時(shí),<b class='flag-5'>Redis</b>還是占了很多<b class='flag-5'>內(nèi)存</b>?

    Redis持久化RDB方式介紹

    Redis持久化 Redis是一個(gè)內(nèi)存數(shù)據(jù)庫,為了保證數(shù)據(jù)的持久性,它提供了兩種持久化方案: RDB 方式(默認(rèn)) RDB方式是通過快照( snapshotting )完成的,當(dāng)符合一定條件
    的頭像 發(fā)表于 10-09 14:56 ?429次閱讀
    <b class='flag-5'>Redis</b>持久化RDB方式介紹

    Redis的刪除策略和內(nèi)存淘汰機(jī)制介紹

    Redis過期鍵的刪除策略? Redis的過期刪除策略就是:惰性刪除和定期刪除兩種策略配合使用。 惰性刪除:Redis的惰性刪除策略由db.c/expireIfNeeded函數(shù)實(shí)現(xiàn),所有鍵讀寫命令
    的頭像 發(fā)表于 10-09 11:06 ?409次閱讀

    Redis是什么?簡述它的優(yōu)缺點(diǎn)?

    Redis是什么?簡述它的優(yōu)缺點(diǎn)? Redis本質(zhì)上是一個(gè)Key-Value類型的內(nèi)存數(shù)據(jù)庫,很像Memcached,整個(gè)數(shù)據(jù)庫加載在內(nèi)存當(dāng)中操作,定期通過異步操作把數(shù)據(jù)庫中的數(shù)據(jù)fl
    的頭像 發(fā)表于 10-09 10:37 ?669次閱讀

    如何通過設(shè)計(jì)模式來節(jié)省內(nèi)存

    相信大家日常開發(fā)過程中,一個(gè)優(yōu)秀的程序猿寫出的代碼一定要節(jié)省空間的,比如節(jié)省內(nèi)存,節(jié)省磁盤等等。那么如何通過設(shè)計(jì)模式來節(jié)省內(nèi)存呢? 1、什么是享元模式? Use sharing to
    的頭像 發(fā)表于 10-09 10:31 ?440次閱讀
    如何通過設(shè)計(jì)模式來<b class='flag-5'>節(jié)省內(nèi)存</b>

    Redis中的使用

    Redis 作為內(nèi)存的存儲(chǔ)中間件,已經(jīng)是面試的面試題必問之一了,今天一起來看看 Redis 的事務(wù)吧。 事務(wù)提供了一種"將多個(gè)命令打包,一次性提交并按順序執(zhí)行"的機(jī)制,提交后在事務(wù)執(zhí)行中不會(huì)
    的頭像 發(fā)表于 10-08 15:27 ?400次閱讀
    <b class='flag-5'>Redis</b>中的使用