關(guān)于Redis緩存的原因及解決方案

下面開(kāi)始今天的正文，看見(jiàn)小小怎么辛苦的份上，滑到底下，給個(gè)素質(zhì)三連？

緩存雪崩

緩存雪崩是指在某一個(gè)時(shí)間段內(nèi)，緩存集中過(guò)期失效，如果這個(gè)時(shí)間段內(nèi)有大量請(qǐng)求，而查詢(xún)數(shù)據(jù)量巨大，所有的請(qǐng)求都會(huì)達(dá)到存儲(chǔ)層，存儲(chǔ)層的調(diào)用量會(huì)暴增，引起數(shù)據(jù)庫(kù)壓力過(guò)大甚至宕機(jī)。

原因

Redis突然宕機(jī)

大部分?jǐn)?shù)據(jù)失效

舉個(gè)栗子

比如我們基本上都經(jīng)歷過(guò)購(gòu)物狂歡節(jié)，假設(shè)商家舉辦 23:00-24:00 商品打骨折促銷(xiāo)活動(dòng)。程序小哥哥在設(shè)計(jì)的時(shí)候，在 23:00 把商家打骨折的商品放到緩存中，并通過(guò)redis的expire設(shè)置了過(guò)期時(shí)間為1小時(shí)。這個(gè)時(shí)間段許多用戶(hù)訪問(wèn)這些商品信息、購(gòu)買(mǎi)等等。但是剛好到了24:00點(diǎn)的時(shí)候，恰好還有許多用戶(hù)在訪問(wèn)這些商品，這時(shí)候?qū)@些商品的訪問(wèn)都會(huì)落到數(shù)據(jù)庫(kù)上，導(dǎo)致數(shù)據(jù)庫(kù)要抗住巨大的壓力，稍有不慎會(huì)導(dǎo)致，數(shù)據(jù)庫(kù)直接宕機(jī)（over）。

當(dāng)商品沒(méi)有失效的時(shí)候是這樣的：

當(dāng)緩存GG（失效）的時(shí)候卻是這樣的：

對(duì)于緩存雪崩有以下解決方案：

（1）redis高可用

redis有可能掛掉，多增加幾臺(tái)redis實(shí)例，（一主多從或者多主多從），這樣一臺(tái)掛掉之后其他的還可以繼續(xù)工作，其實(shí)就是搭建的集群。

（2）限流降級(jí)

在緩存失效后，通過(guò)加鎖或者隊(duì)列來(lái)控制讀數(shù)據(jù)庫(kù)寫(xiě)緩存的線程數(shù)量，對(duì)某個(gè)key只允許一個(gè)線程查詢(xún)數(shù)據(jù)和寫(xiě)緩存，其他線程等待。

（3）數(shù)據(jù)預(yù)熱

數(shù)據(jù)加熱的含義就是在正式部署之前，我先把可能的數(shù)據(jù)先預(yù)先訪問(wèn)一遍，這樣部分可能大量訪問(wèn)的數(shù)據(jù)就會(huì)加載到緩存中。在即將發(fā)生大并發(fā)訪問(wèn)前手動(dòng)觸發(fā)加載緩存不同的key。

（4）不同的過(guò)期時(shí)間

設(shè)置不同的過(guò)期時(shí)間，讓緩存失效的時(shí)間點(diǎn)盡量均勻。

緩存穿透

什么是緩存穿透，當(dāng)用戶(hù)在查詢(xún)一條數(shù)據(jù)的時(shí)候，而此時(shí)數(shù)據(jù)庫(kù)和緩存沒(méi)有任何關(guān)于這條數(shù)據(jù)的任何記錄的時(shí)候，當(dāng)這條數(shù)據(jù)再緩存中沒(méi)找到數(shù)據(jù)，就會(huì)向數(shù)據(jù)庫(kù)請(qǐng)求數(shù)據(jù)，這樣就會(huì)對(duì)數(shù)據(jù)庫(kù)造成比較大的壓力。如：用戶(hù)查詢(xún)一個(gè) id = -1 的商品信息，一般數(shù)據(jù)庫(kù) id 值都是從 1 開(kāi)始自增，很明顯這條信息是不在數(shù)據(jù)庫(kù)中，當(dāng)沒(méi)有信息返回時(shí)，會(huì)一直向數(shù)據(jù)庫(kù)查詢(xún)，給當(dāng)前數(shù)據(jù)庫(kù)的造成很大的訪問(wèn)壓力。解決方案有倆個(gè)，分別為緩存空對(duì)象，布隆過(guò)濾器。

緩存空對(duì)象

緩存空對(duì)象它就是指一個(gè)請(qǐng)求發(fā)送過(guò)來(lái)，如果此時(shí)緩存中和數(shù)據(jù)庫(kù)都不存在這個(gè)請(qǐng)求所要查詢(xún)的相關(guān)信息，那么數(shù)據(jù)庫(kù)就會(huì)返回一個(gè)空對(duì)象，并將這個(gè)空對(duì)象和請(qǐng)求關(guān)聯(lián)起來(lái)存到緩存中，當(dāng)下次還是這個(gè)請(qǐng)求過(guò)來(lái)的時(shí)候，這時(shí)緩存就會(huì)命中，就直接從緩存中返回這個(gè)空對(duì)象，這樣可以減少訪問(wèn)數(shù)據(jù)庫(kù)的壓力，提高當(dāng)前數(shù)據(jù)庫(kù)的訪問(wèn)性能。我們接下來(lái)可以看下面這個(gè)流程

并且為了大量的空對(duì)象過(guò)多，導(dǎo)致緩存空對(duì)象也過(guò)多，所以需要利用Redis的過(guò)期機(jī)制，解決這個(gè)問(wèn)題。

setex key seconds valule:設(shè)置鍵值對(duì)的同時(shí)指定過(guò)期時(shí)間(s)

在Java中

redisCache.put(Integer.toString(id), null, 60) //過(guò)期時(shí)間為 60s

布隆過(guò)濾器

布隆過(guò)濾器用來(lái)過(guò)濾東西的。它是一種基于概率的數(shù)據(jù)結(jié)構(gòu)，主要使用愛(ài)判斷當(dāng)前某個(gè)元素是否在該集合中，運(yùn)行速度快。我們也可以簡(jiǎn)單理解為是一個(gè)不怎么精確的 set 結(jié)構(gòu)（set 具有去重的效果）。但是有個(gè)小問(wèn)題是：當(dāng)你使用它的 contains 方法去判斷某個(gè)對(duì)象是否存在時(shí)，它可能會(huì)誤判。也就是說(shuō)布隆過(guò)濾器不是特別不精確，但是只要參數(shù)設(shè)置的合理，它的精確度可以控制的相對(duì)足夠精確，只會(huì)有小小的誤判概率。當(dāng)布隆過(guò)濾器說(shuō)某個(gè)值存在時(shí)，這個(gè)值可能不存在；當(dāng)它說(shuō)不存在時(shí)，那就肯定不存在。

舉個(gè)栗子

打個(gè)比方，當(dāng)它說(shuō)不認(rèn)識(shí)你時(shí)，肯定就不認(rèn)識(shí)；當(dāng)它說(shuō)見(jiàn)過(guò)你時(shí)，可能根本就沒(méi)見(jiàn)過(guò)面，不過(guò)因?yàn)槟愕哪樃J(rèn)識(shí)的人中某臉比較相似 (某些熟臉的系數(shù)組合)，所以誤判以前見(jiàn)過(guò)你。在上面的使用場(chǎng)景中，布隆過(guò)濾器能準(zhǔn)確過(guò)濾掉那些已經(jīng)看過(guò)的內(nèi)容，那些沒(méi)有看過(guò)的新內(nèi)容，它也會(huì)過(guò)濾掉極小一部分 (誤判)，但是絕大多數(shù)新內(nèi)容它都能準(zhǔn)確識(shí)別。這樣就可以完全保證推薦給用戶(hù)的內(nèi)容都是無(wú)重復(fù)的。

特點(diǎn)

一個(gè)非常大的二進(jìn)制位數(shù)組（數(shù)組中只存在 0 和 1）

擁有若干個(gè)哈希函數(shù)（Hash Function）

在空間效率和查詢(xún)效率都非常高

布隆過(guò)濾器不會(huì)提供刪除方法，在代碼維護(hù)上比較困難。

每個(gè)布隆過(guò)濾器對(duì)應(yīng)到 Redis 的數(shù)據(jù)結(jié)構(gòu)里面就是一個(gè)大型的位數(shù)組和幾個(gè)不一樣的無(wú)偏 hash 函數(shù)。所謂無(wú)偏就是能夠把元素的 hash 值算得比較均勻。

向布隆過(guò)濾器中添加 key 時(shí)，會(huì)使用多個(gè) hash 函數(shù)對(duì) key 進(jìn)行 hash 算得一個(gè)整數(shù)索引值然后對(duì)位數(shù)組長(zhǎng)度進(jìn)行取模運(yùn)算得到一個(gè)位置，每個(gè) hash 函數(shù)都會(huì)算得一個(gè)不同的位置。再把位數(shù)組的這幾個(gè)位置都置為 1 就完成了 add 操作。（ 每一個(gè) key 都通過(guò)若干的hash函數(shù)映射到一個(gè)巨大位數(shù)組上，映射成功后，會(huì)在把位數(shù)組上對(duì)應(yīng)的位置改為1。）

為什么存在誤判率

當(dāng) key1 和 key2 映射到位數(shù)組上的位置為 1 時(shí)，假設(shè)這時(shí)候來(lái)了個(gè) key3，要查詢(xún)是不是在里面，恰好 key3 對(duì)應(yīng)位置也映射到了這之間，那么布隆過(guò)濾器會(huì)認(rèn)為它是存在的，這時(shí)候就會(huì)產(chǎn)生誤判（因?yàn)槊髅?key3 是不在的）。

提高準(zhǔn)確率

哈希函數(shù)的好壞

存儲(chǔ)空間大小

哈希函數(shù)個(gè)數(shù) hash函數(shù)的設(shè)計(jì)也是一個(gè)十分重要的問(wèn)題，對(duì)于好的hash函數(shù)能大大降低布隆過(guò)濾器的誤判率。同時(shí)，對(duì)于一個(gè)布隆過(guò)濾器來(lái)說(shuō)，如果其位數(shù)組越大的話(huà)，那么每個(gè)key通過(guò)hash函數(shù)映射的位置會(huì)變得稀疏許多，不會(huì)那么緊湊，有利于提高布隆過(guò)濾器的準(zhǔn)確率。同時(shí)，對(duì)于一個(gè)布隆過(guò)濾器來(lái)說(shuō)，如果key通過(guò)許多hash函數(shù)映射，那么在位數(shù)組上就會(huì)有許多位置有標(biāo)志，這樣當(dāng)用戶(hù)查詢(xún)的時(shí)候，在通過(guò)布隆過(guò)濾器來(lái)找的時(shí)候，誤判率也會(huì)相應(yīng)降低。

緩存擊穿

一個(gè)被經(jīng)常訪問(wèn)并且查詢(xún)到的key，經(jīng)常有用戶(hù)訪問(wèn)，但是這個(gè)時(shí)候，這個(gè)key正好到了失效時(shí)間，或者突然變成冷門(mén)key，此時(shí)仍然有大量的關(guān)于這個(gè)的key的請(qǐng)求，這樣會(huì)造成大量的并發(fā)訪問(wèn)到數(shù)據(jù)庫(kù)，造成數(shù)據(jù)庫(kù)的壓力劇增。導(dǎo)致緩存擊穿的產(chǎn)生。

原因有兩條。

一個(gè)冷門(mén)的key，突然有大量的用戶(hù)請(qǐng)求訪問(wèn)。

一個(gè)熱門(mén)的key恰好到了過(guò)期的時(shí)間。

緩存擊穿問(wèn)題的解決：加鎖，對(duì)于key過(guò)期的時(shí)候，查詢(xún)數(shù)據(jù)庫(kù)的時(shí)候加鎖，可以讓只有一個(gè)連接訪問(wèn)到數(shù)據(jù)庫(kù)，然后獲取到key緩存到redis中，減少了緩存的壓力。在單機(jī)幻覺(jué)使用單機(jī)的鎖，在分布式環(huán)境下使用分布式鎖。

編輯：hfy