Rust流處理新秀，即將抗衡Flink霸主地位

Arroyo是一個(gè)使用Rust編寫的分布式流處理引擎，旨在高效地對(duì)數(shù)據(jù)流進(jìn)行有狀態(tài)的計(jì)算。與傳統(tǒng)的批處理不同，流處理引擎可以同時(shí)處理有界和無界的數(shù)據(jù)源，并在結(jié)果可用時(shí)立即得出結(jié)果。

廢話不多說，先上github：

https://github.com/ArroyoSystems/arroyo

簡(jiǎn)而言之：Arroyo可讓你對(duì)大量實(shí)時(shí)數(shù)據(jù)提出復(fù)雜問題，并在亞秒級(jí)時(shí)間內(nèi)獲得結(jié)果。

說到這里，感覺就是Flink在Rust中的完美替代品。如果真的可以穩(wěn)定使用，那么將是Rust撼動(dòng)Java在大數(shù)據(jù)流式處理計(jì)算的第一槍。

我們看下, 官網(wǎng)的宣傳圖：

官方標(biāo)榜主要特性有:

支持SQL和Rust流水線

可擴(kuò)展到每秒數(shù)百萬事件

支持狀態(tài)操作，如窗口和連接

支持狀態(tài)檢查點(diǎn)功能，以實(shí)現(xiàn)流水線的容錯(cuò)和恢復(fù)

通過Dataflow模型進(jìn)行及時(shí)的流處理

用例

檢測(cè)欺詐和安全事件

實(shí)時(shí)產(chǎn)品和業(yè)務(wù)分析

實(shí)時(shí)數(shù)據(jù)攝取到您的數(shù)據(jù)倉庫或數(shù)據(jù)湖中

實(shí)時(shí)機(jī)器學(xué)習(xí)特征生成

為什么選擇Arroyo

現(xiàn)在已經(jīng)有一些現(xiàn)有的流引擎，包括Apache Flink, Spark streaming和Kafka Streams。為什么要搞一個(gè)新的呢？

官方也給出了具體的說明：（可以說非常炸裂）

無服務(wù)器運(yùn)維：Arroyo管道被設(shè)計(jì)為在現(xiàn)代云環(huán)境中運(yùn)行，支持無縫擴(kuò)展、恢復(fù)和重新調(diào)度。

高性能SQL：SQL是一流的關(guān)注點(diǎn)，具有始終優(yōu)秀的性能。

專為非專家設(shè)計(jì)：Arroyo從其內(nèi)部實(shí)現(xiàn)中清晰地分離了管道API。使用者不需要成為流處理專家即可構(gòu)建實(shí)時(shí)數(shù)據(jù)pipeline。

如何開始

可以通過運(yùn)行以下Docker命令來使用只有單個(gè)節(jié)點(diǎn)的Arroyo群集：

$dockerrun-p8000:8000-p8001:8001ghcr.io/arroyosystems/arroyo-single:multi-arch

然后可以在瀏覽器打開：http://localhost:8000

深入學(xué)習(xí)

官方文檔：https://doc.arroyo.dev/getting-started（看了下，文檔寫的非常好）

使用復(fù)雜SQL構(gòu)建你的第一個(gè)pipeline

https://doc.arroyo.dev/tutorial/first-pipeline

總結(jié)

之前也有Rust嘗試做大數(shù)據(jù)套件，但是都沒有很成功的案例。或許Arroyo將是第一個(gè)用Rust編寫的分布式流處理引擎成功的案例，這樣將再次證明Rust在大數(shù)據(jù)基建領(lǐng)域的可行性。

后面我也會(huì)繼續(xù)關(guān)注Arroyo，并寫一系列的使用教程發(fā)布到本公眾號(hào)，并做一些Flink和Arroyo的深入對(duì)比。

謝謝大家支持, 做第一個(gè)吃螃蟹的人。

審核編輯 ：李倩