使用Rust語言重寫的代碼搜索引擎黑鳥系統(tǒng)Blackbird正式啟用

昨天GitHub官方發(fā)布消息，宣布其使用Rust語言重寫的代碼搜索引擎黑鳥系統(tǒng)Blackbird正式啟用。關(guān)于黑鳥系統(tǒng)的歷史和技術(shù)，今天蟲蟲就給大家普及一下。

概述

黑鳥系統(tǒng)的目標(biāo)是實(shí)現(xiàn)開發(fā)人員快速搜索、導(dǎo)航和理解其代碼，將關(guān)鍵信息置于上下文中，并最終提高他們的工作效率。 為實(shí)現(xiàn)這一目標(biāo)，需要實(shí)現(xiàn)以下功能：

首先，一個完全重新設(shè)計的搜索界面，帶有建議、補(bǔ)全以及對結(jié)果進(jìn)行切片和切塊的能力。

其次，需要完全從頭開始構(gòu)建了一個新的代碼搜索引擎。新的引擎需要非?？欤ù蠹s是舊代碼搜索速度的兩倍），功能更強(qiáng)大（支持子字符串查詢、正則表達(dá)式和符號搜索），并且理解代碼，將最相關(guān)的結(jié)果放在排名最前面。

最后，要完全重新設(shè)計GitHub的代碼視圖，將搜索、瀏覽和代碼導(dǎo)航緊密集成。

Github代碼搜索歷史和問題

GitHub成立于2008年，最初使用Apache Solr來處理其代碼搜索。

在Solr被并入Lucene之后。 2013年Github團(tuán)隊(duì)使用Elasticsearch對其搜索進(jìn)行了改造，基于Elasticsearch創(chuàng)建了一個新的搜索服務(wù)。

隨后，基于Elasticsearch搜索服務(wù)屢次出現(xiàn)服務(wù)終端故障。

在探索了基于通用文本搜索產(chǎn)品來支持代碼搜索，GitHub發(fā)現(xiàn)基于現(xiàn)有產(chǎn)品搭建的系統(tǒng)用戶體驗(yàn)差，索引速度慢，托管成本高。

2020年GitHub內(nèi)部開始了一個新項(xiàng)目黑鳥系統(tǒng)，用來解決搜索服務(wù)不穩(wěn)定的問題。

黑鳥架構(gòu)

黑鳥系統(tǒng)架構(gòu)圖如下：

黑鳥系統(tǒng)是基于Rust語言，從零開始構(gòu)建搜索引擎，專門用于代碼搜索領(lǐng)域。

黑鳥系統(tǒng)所要實(shí)現(xiàn)的用戶體驗(yàn)愿景:

能夠提出代碼問題并通過迭代搜索、瀏覽、導(dǎo)航和閱讀代碼獲得答案。

GitHub團(tuán)隊(duì)通過實(shí)踐意識到其代碼搜索與一般文本搜索有根本的區(qū)別。

首先、代碼已經(jīng)被設(shè)計成可以被機(jī)器理解，所以其內(nèi)部在結(jié)構(gòu)上、功能上和功能上下文上必然存在聯(lián)系性。

同時搜索代碼也有獨(dú)特的要求，需要搜索標(biāo)點(diǎn)符號（例如，句號或左括號）；不能從查詢中刪除停用詞；另外，代碼搜索還需要支持正則表達(dá)式。

最后，GitHub的巨大倉庫規(guī)模是一個很大的挑戰(zhàn)。其基于Elasticsearch的搜索系統(tǒng)，需要花費(fèi)數(shù)月的時間來索引當(dāng)時800萬倉庫的代碼。

目前GitHub倉庫數(shù)已經(jīng)超過了2億，而且還在持續(xù)增長中，這對搜索引擎來說是個巨大的挑戰(zhàn)。

目前GitHub可搜索庫有4500萬公開庫，代碼總量為115TB，還有155億的相關(guān)文檔。

千萬級代碼的索引

黑鳥系統(tǒng)所要解決的第一個問題是如何在合理的時間內(nèi)構(gòu)建對這4500萬代碼庫的代碼和文檔進(jìn)行索引。由Git的天然特性，其內(nèi)容可通過哈希尋址并且GitHub 上實(shí)際上有很多重復(fù)內(nèi)容，所以可行的策略是：

按Git blob對象ID進(jìn)行分片，git對象天然這提供了一種在分片之間均勻分布文檔同時避免任何重復(fù)的好方法。由于特殊的存儲庫，不會有任何熱服務(wù)器，可以根據(jù)需要輕松擴(kuò)展分片的數(shù)量。

將索引建模為樹并使用增量編碼來減少爬行量并優(yōu)化索引中的元數(shù)據(jù)。元數(shù)據(jù)就像文檔出現(xiàn)的位置列表（路徑、分支和存儲庫）和有關(guān)這些對象的信息（存儲庫名稱、所有者、可見性等）。 對于流行內(nèi)容，此數(shù)據(jù)可能非常大。

黑鳥還專門進(jìn)行了設(shè)計將查詢結(jié)果在提交級別的基礎(chǔ)上保持一致。

當(dāng)用戶從存儲庫范圍的查詢中獲取結(jié)果時，其他人可能正在對全局結(jié)果進(jìn)行分頁并查看不同于先前但仍然一致的索引狀態(tài)。使用其他搜索引擎很難做到這一點(diǎn)。黑鳥提供這種級別的查詢一致性作為其設(shè)計的核心部分。

查詢的生命周期

在實(shí)現(xiàn)了對代碼的索引后，系統(tǒng)跟蹤查詢就比較容易實(shí)現(xiàn)了。比如黑鳥系統(tǒng)查詢是符Rail組織用于查找Ruby編程語言編寫的代碼的正則表達(dá)式，格式為：

/arguments?/org:railslang:Ruby

查詢路徑的高級架構(gòu)圖：

在網(wǎng)站和分片之間是黑鳥查詢服務(wù)（BQS），它協(xié)調(diào)接受用戶查詢并將請求分散到搜索集群中的每個主機(jī)。黑鳥系統(tǒng)使用Redis來管理配額和緩存一些訪問控制數(shù)據(jù)。

前端接受用戶查詢并將其傳遞給BQS，查詢服務(wù)將查詢解析為抽象語法樹，然后重寫它，將諸如語言之類的東西解析為其規(guī)范的Linguist 語言ID，并在額外的條款上標(biāo)記權(quán)限和范圍。這樣，就可以看到重寫如何確保將從公共存儲庫或有權(quán)訪問的任何私有存儲庫中獲得結(jié)果。

接著查詢分成n個請求，并行請求到后端分片服務(wù)：

BQS得到分片的結(jié)果后，聚合所有分片的結(jié)果，按分?jǐn)?shù)重新排序，過濾（雙重檢查權(quán)限），并返回前100列表。搜索前端仍然需要做語法高亮，term高亮、分頁，然后將渲染到頁面呈現(xiàn)給用戶。

來自各個分片的p99響應(yīng)時間大約為100ms，但由于聚合響應(yīng)、檢查權(quán)限和語法突出顯示等原因，總響應(yīng)時間會稍長一些。一個查詢占用索引服務(wù)器上的單CPU內(nèi)核100ms，GitHub 現(xiàn)有一臺64核主機(jī)大約每秒可以執(zhí)行640個查詢。性能非常強(qiáng)硬，而且由于天然地分布式分片，所以可以很方便實(shí)現(xiàn)水平擴(kuò)展，為同時用戶查詢和未來增長提供了充足的空間（多加分片服務(wù)器即可）。

總結(jié)

黑鳥代碼搜索系統(tǒng)是一個全新的基于Rust的高性能分布式代碼搜索系統(tǒng)。GitHub團(tuán)隊(duì)基于現(xiàn)有業(yè)務(wù)和問題的解決基礎(chǔ)積極探索重新開發(fā)出適合自己獨(dú)特業(yè)務(wù)、規(guī)模和需求的系統(tǒng)值得每一個軟件系統(tǒng)架構(gòu)師學(xué)習(xí)和借鑒。

當(dāng)然對于廣大的碼農(nóng)來說，以后在GitHub站搜代碼更方便和快捷，GitHub也對其新系統(tǒng)提供了豐富的文檔（docs.github /en/search-github）希望大家趕緊探索嘗試，找出一些好用的技巧來給大家分享。

審核編輯 ：李倩