Lightflus 的技術(shù)架構(gòu)介紹

我們需要什么樣的數(shù)據(jù)計算框架

關(guān)注過我的讀者可能會記得我之前發(fā)表過一篇文章介紹過現(xiàn)代數(shù)據(jù)棧

現(xiàn)代數(shù)據(jù)棧

基于其中的思考，我嘗試去寫了個現(xiàn)代數(shù)據(jù)棧中比較重要的一個組件：流計算引擎。因此，我很高興在這里給大家介紹 Lightflus ——這款新的云原生分布式流計算框架。'flus' 取自德語，在英文中為 'flow'，流的意思。Lightflus 如其名，是一款輕量的流數(shù)據(jù)計算引擎；

Lightflus 誕生的原因是為了解決目前的主流計算框架 Spark 和 Flink 存在的問題：

門檻高：Spark 和 Flink 的上手門檻比較高，需要招聘有相關(guān)經(jīng)驗和技術(shù)能力的人來開發(fā)；

成本高：企業(yè)要投入較多資源和人力來搭建一個數(shù)據(jù)系統(tǒng)，且需要很專業(yè)的基礎(chǔ)架構(gòu)團隊協(xié)助，但 Data 卻往往不是企業(yè)的主營業(yè)務(wù)；

非云原生：在目前基礎(chǔ)設(shè)施上云的大趨勢下，Spark 和 Flink 雖然也在往云原生的方向發(fā)展，但由于歷史遺留問題，進展比較緩慢；

這些問題進一步導(dǎo)致了：

重復(fù)建設(shè)，浪費資源，各家都要自己做一套基礎(chǔ)架構(gòu)來滿足內(nèi)部的數(shù)據(jù)需求；

中小企業(yè)或沒有 IT 背景的傳統(tǒng)企業(yè)的數(shù)據(jù)需求難以滿足，數(shù)字化轉(zhuǎn)型風險加劇，舉步維艱；

于是我決定做一款新的計算框架來解決以上這些問題，Lightflus 由此誕生了。

Lightflus 的設(shè)計理念

Lightflus 是為絕大多數(shù)開發(fā)者設(shè)計的，其目的不是為了平替 Spark 和 Flink，而是讓一個從未接觸過流數(shù)據(jù)計算框架的開發(fā)團隊也能快速上手并部署流數(shù)據(jù)任務(wù)到生產(chǎn)。需要強調(diào)的是，Lightflus 不是一款為了超越 Flink 性能 N 倍而設(shè)計的流計算引擎，它的目標是為了讓小團隊和大型企業(yè)都能低成本地去開發(fā)流數(shù)據(jù)的價值。

讓 Developer 而非專門的數(shù)據(jù)開發(fā)工程師去做這件事，好處有四：

developer 更清楚業(yè)務(wù)流程，自然也更清楚數(shù)據(jù)是怎么流動和變化的；

因為 developer 更清楚數(shù)據(jù)源的背景知識，他們能快速寫出可以直接產(chǎn)生經(jīng)濟價值的代碼；

developer 比起數(shù)據(jù)開發(fā)，更加深入了解目前的 infra，與 OPS 的長期合作也能讓團隊協(xié)作更順暢；

對于開發(fā)團隊的管理者，能將 DevOps 引入，形成 DataOps，提升研發(fā)管理效率，降低發(fā)布風險；

基于這些好處帶來的優(yōu)勢，Lightflus 從草創(chuàng)起就專注于讓普通開發(fā)者也能像寫 stream 代碼一樣寫流數(shù)據(jù)任務(wù)。

Lightflus 的技術(shù)架構(gòu)

Typescript API + Rust Runtime

Lightflus 提供 TypscriptAPI，為了能讓Typescript 編寫的 UDF 高效運行，Lightflus 將 v8 引擎嵌入 Rust 實現(xiàn)的核心，通過 embedded v8 engine 來運行編譯后的 JavaScript 函數(shù)。在未來，我們還將支持 WebAssembly 來加強性能；

Architecture

Lightflus 沿用主流的 Coordinator-Worker 的分布式計算架構(gòu)，以滿足未來對可用性、高擴展性、容錯等的需求

k8s 和 Docker 支持

Lightflus 將于 release 版本支持 k8s 部署（意味著可以上生產(chǎn)的級別），demo 版本和 preview 階段只提供 Docker 的支持；

對主流 cloud 的支持

在 release 1.x 以及之前的階段，Lightflus 計劃只公開支持 AWS，但是 Lightflus 本身是云中立的，理論上任何云都能很好運行 Lightflus。

編輯：黃飛