一文輕松圖解搞懂Elasticsearch原理！
- 認(rèn)識(shí)倒排索引
- 分布式架構(gòu)原理
- 寫入數(shù)據(jù)的工作原理
- 寫數(shù)據(jù)底層原理
- 讀取數(shù)據(jù)的工作原理
- 搜索工作原理
- 刪除/更新數(shù)據(jù)底層原理
ES 的集群模式和 kafka 很像，kafka 又和 redis 的集群模式很像?？傊褪窍嗷ソ梃b！
不管你用沒用過 ES，今天我們一起聊聊它。就當(dāng)擴(kuò)展大家的知識(shí)廣度了！
認(rèn)識(shí)倒排索引
「正排索引 VS 倒排索引：」
正排索引 VS 倒排索引「倒排索引包括兩個(gè)部分：」
-
單詞詞典（
Term Dictionary）：記錄所有文檔的單詞，記錄單詞到倒排列表的關(guān)聯(lián)關(guān)系?
單詞詞典一般比較大，可以通過
B+樹 或 哈希拉鏈法實(shí)現(xiàn)，以滿足高性能的插入與查詢?
-
倒排列表（
Posting List）：記錄了單詞對(duì)應(yīng)的文檔結(jié)合，由倒排索引項(xiàng)（Posting）組成： -
-
文檔
ID
-
文檔
-
詞頻
TF：該單詞在文檔中出現(xiàn)的次數(shù)，用于相關(guān)性評(píng)分 -
位置（
Position）：?jiǎn)卧~在文檔中分詞的位置。用于語(yǔ)句搜索（Phrase Query） -
偏移（
Offset）：記錄單詞的開始結(jié)束位置，實(shí)現(xiàn)高亮顯示
倒排索引
「ElasticSearch 的倒排索引：」
-
ElasticSearch的JSON文檔中的每個(gè)字段，都有自己的倒排索引
-
可以針對(duì)某些字段不做索引
- 優(yōu)點(diǎn)：節(jié)省存儲(chǔ)空間
- 缺點(diǎn)：字段無法被搜索
基于 Spring Boot + MyBatis Plus + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能
- 項(xiàng)目地址：https://github.com/YunaiV/ruoyi-vue-pro
- 視頻教程：https://doc.iocoder.cn/video/
分布式架構(gòu)原理
「分片 shard：一個(gè)索引可以拆分成多個(gè) shard 分片?！?/strong>
-
主分片
primary shard：每個(gè)分片都有一個(gè)主分片。 -
備份分片
replica shard：主分片寫入數(shù)據(jù)后，會(huì)將數(shù)據(jù)同步給其他備份分片。
將 ES 集群部署在 3個(gè) 機(jī)器上（esnode1、esnode2、esnode3）：
「創(chuàng)建個(gè)索引，分片為 3 個(gè)，副本數(shù)設(shè)置為 1：」
PUT/sku_index/_settings
{
"settings":{
"number_of_shards":3,
"number_of_replicas":1
}
}
響應(yīng)：
{
"acknowledged":true
}
分布式架構(gòu)原理
「ES 集群中有多個(gè)節(jié)點(diǎn)，會(huì)自動(dòng)選舉一個(gè)節(jié)點(diǎn)為 master 節(jié)點(diǎn)，如上圖的 esnode2節(jié)點(diǎn)：」
-
主節(jié)點(diǎn)（
master）：管理工作，維護(hù)索引元數(shù)據(jù)、負(fù)責(zé)切換主分片和備份分片身份等。 -
從節(jié)點(diǎn)（
node）：數(shù)據(jù)存儲(chǔ)。
「集群中某節(jié)點(diǎn)宕機(jī)：」
- 主節(jié)點(diǎn)宕機(jī)：會(huì)重新選舉一個(gè)節(jié)點(diǎn)為 主節(jié)點(diǎn)。
- 從節(jié)點(diǎn)宕機(jī)：由 主節(jié)點(diǎn)，將宕機(jī)節(jié)點(diǎn)上的 主分片身份轉(zhuǎn)移到其他機(jī)器上的 備份分片上。
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序，支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能
寫入數(shù)據(jù)的工作原理
「寫單個(gè)文檔所需的步驟：」
-
客戶端選擇一個(gè)
Node發(fā)送請(qǐng)求，那么這個(gè)Node就稱為 「協(xié)調(diào)節(jié)點(diǎn)（Coorinating Node）」 。 -
Node使用文檔ID來確定文檔屬于分片 0，通過集群狀態(tài)中的內(nèi)容路由表信息獲知分片0 的主分片在Node1上，因此將請(qǐng)求轉(zhuǎn)發(fā)到Node1上。 -
Node1上的主分片執(zhí)行寫操作。如果寫入成功，則將請(qǐng)求并行轉(zhuǎn)發(fā)到Node3的副分片上，等待返回結(jié)果。當(dāng)所有的副分片都報(bào)告成功，
Node1將向Node（協(xié)調(diào)節(jié)點(diǎn)）報(bào)告成功。
寫入數(shù)據(jù)的工作原理
「Tips：客戶端收到成功響應(yīng)時(shí)，意味著寫操作已經(jīng)在主分片和所有副分片都執(zhí)行完成?！?/strong>
寫數(shù)據(jù)底層原理
寫數(shù)據(jù)底層原理「寫操作可分為 3 個(gè)主要操作：」
-
寫入新文檔： 這時(shí)候搜索，是搜索不到。
- 將數(shù)據(jù)寫入內(nèi)存
-
將這操作寫入
translog文件中
-
refresh操作： 默認(rèn)每隔 1s ，將內(nèi)存中的文檔寫入文件系統(tǒng)緩存（filesystem cache）構(gòu)成一個(gè)segment?
這時(shí)候搜索，可以搜索到數(shù)據(jù)。
?
-
「
1s時(shí)間：ES是近實(shí)時(shí)搜索，即數(shù)據(jù)寫入1s后可以搜索到。」
-
flush操作： 默認(rèn)每隔 30 分鐘 或者translog文件512MB，將文件系統(tǒng)緩存中的segment寫入磁盤，并將translog刪除。
「translog 文件：」 來記錄兩次 flush(fsync) 之間所有的操作，當(dāng)機(jī)器從故障中恢復(fù)或者重啟，可以根據(jù)此還原
-
translog是文件，存在于內(nèi)存中，如果掉電一樣會(huì)丟失。 - 「默認(rèn)每隔 5s 刷一次到磁盤中」
讀取數(shù)據(jù)的工作原理
「讀取文檔所需的步驟：」
-
客戶端選擇一個(gè)
Node發(fā)送請(qǐng)求，那么這個(gè)Node就稱為 「協(xié)調(diào)節(jié)點(diǎn)（Coorinating Node）」 。 -
Node使用文檔ID來確定文檔屬于分片 0，通過集群狀態(tài)中的內(nèi)容路由表信息獲知分片0 有 2 個(gè)副本數(shù)據(jù)（一主一副），會(huì)使用隨機(jī)輪詢算法選擇出一個(gè)分片，這里將請(qǐng)求轉(zhuǎn)發(fā)到Node1 -
Node1將文檔返回給Node，Node將文檔返回給客戶端。
讀取數(shù)據(jù)的工作原理「在讀取時(shí)，文檔可能已經(jīng)存在于主分片上，但還沒有復(fù)制到副分片，這種情況下：」
- 讀請(qǐng)求命中副分片時(shí)，可能會(huì)報(bào)告文檔不存在。
- 讀請(qǐng)求命中主分片時(shí)，可能成功返回文檔。
搜索工作原理
「搜索數(shù)據(jù)過程：」
-
客戶端選擇一個(gè)
Node發(fā)送請(qǐng)求，那么這個(gè)Node就稱為 「協(xié)調(diào)節(jié)點(diǎn)（Coorinating Node）」 。 -
Node協(xié)調(diào)節(jié)點(diǎn)將搜索請(qǐng)求轉(zhuǎn)發(fā)到所有的 分片（shard）：主分片 或 副分片，都可以。 -
「
query階段」 ：每個(gè)分片shard將自己的搜索結(jié)果（文檔ID）返回給協(xié)調(diào)節(jié)點(diǎn)，由協(xié)調(diào)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)的合并、排序、分頁(yè)等操作，產(chǎn)出最終結(jié)果。 -
「
fetch階段」 ：由協(xié)調(diào)節(jié)點(diǎn)根據(jù) 文檔ID去各個(gè)節(jié)點(diǎn)上拉取實(shí)際的文檔數(shù)據(jù)。
搜索工作原理舉個(gè)栗子： 有 3 個(gè)分片，查詢返回前 10 個(gè)匹配度最高的文檔
-
每個(gè)分片都查詢出當(dāng)前分片的
TOP 10數(shù)據(jù) -
「協(xié)調(diào)節(jié)點(diǎn)」 將
3 * 10 = 30的結(jié)果再次排序，返回最終TOP 10的結(jié)果。
刪除/更新數(shù)據(jù)底層原理
-
「刪除操作」 ：
commit的時(shí)候會(huì)生成一個(gè).del文件，里面將某個(gè)doc標(biāo)識(shí)為deleted狀態(tài)，那么搜索的時(shí)候根據(jù).del文件就知道這個(gè) doc 是否被刪除了。 -
「更新操作」 ：就是將原來的
doc標(biāo)識(shí)為deleted狀態(tài)，然后新寫入一條數(shù)據(jù)。
「底層邏輯是：」
-
Index Buffer每次refresh操作，就會(huì)產(chǎn)生一個(gè)segment file。（默認(rèn)情況：1秒1次） -
定制執(zhí)行
merge操作：將多個(gè)segment file合并成一個(gè)，同時(shí)將標(biāo)識(shí)為deleted的doc「物理刪除」 ，將新的segment file寫入磁盤，最后打上commit point標(biāo)識(shí)所有新的segment file。
審核編輯 ：李倩
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6819瀏覽量
88746 -
spring
+關(guān)注
關(guān)注
0文章
338瀏覽量
14296
原文標(biāo)題：一文輕松圖解搞懂Elasticsearch原理！
文章出處：【微信號(hào)：芋道源碼，微信公眾號(hào)：芋道源碼】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
【書籍評(píng)測(cè)活動(dòng)NO.50】親歷芯片產(chǎn)線，輕松圖解芯片制造，揭秘芯片工廠的秘密
一文搞懂Linux進(jìn)程的睡眠和喚醒
一文搞懂用ZPC輕松拿捏數(shù)據(jù)上云
PCB阻抗設(shè)計(jì)12問，輕松帶你搞懂阻抗！
一文搞懂DDR內(nèi)存原理
Rust編寫的首個(gè)Postgres基礎(chǔ)Elasticsearch開源替代品問世
文心一言APP上線數(shù)字分身功能
PCB阻抗設(shè)計(jì)12問，輕松帶你搞懂阻抗！
PCB阻抗設(shè)計(jì)12問，輕松帶你搞懂阻抗！
【華秋干貨鋪】PCB阻抗設(shè)計(jì)12問，輕松帶你搞懂阻抗
PCB阻抗設(shè)計(jì)12問，輕松帶你搞懂阻抗！
工商網(wǎng)監(jiān)
評(píng)論