Arroyo是一個(gè)使用Rust編寫的分布式流處理引擎,旨在高效地對(duì)數(shù)據(jù)流進(jìn)行有狀態(tài)的計(jì)算。與傳統(tǒng)的批處理不同,流處理引擎可以同時(shí)處理有界和無(wú)界的數(shù)據(jù)源,并在結(jié)果可用時(shí)立即得出結(jié)果。
廢話不多說(shuō),先上github:
https://github.com/ArroyoSystems/arroyo
簡(jiǎn)而言之:Arroyo可讓你對(duì)大量實(shí)時(shí)數(shù)據(jù)提出復(fù)雜問(wèn)題,并在亞秒級(jí)時(shí)間內(nèi)獲得結(jié)果。
說(shuō)到這里,感覺就是Flink在Rust中的完美替代品。如果真的可以穩(wěn)定使用,那么將是Rust撼動(dòng)Java在大數(shù)據(jù)流式處理計(jì)算的第一槍。
我們看下, 官網(wǎng)的宣傳圖:
官方標(biāo)榜主要特性有:
支持SQL和Rust流水線
可擴(kuò)展到每秒數(shù)百萬(wàn)事件
支持狀態(tài)操作,如窗口和連接
支持狀態(tài)檢查點(diǎn)功能,以實(shí)現(xiàn)流水線的容錯(cuò)和恢復(fù)
通過(guò)Dataflow模型進(jìn)行及時(shí)的流處理
用例
檢測(cè)欺詐和安全事件
實(shí)時(shí)產(chǎn)品和業(yè)務(wù)分析
實(shí)時(shí)數(shù)據(jù)攝取到您的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中
實(shí)時(shí)機(jī)器學(xué)習(xí)特征生成
為什么選擇Arroyo
現(xiàn)在已經(jīng)有一些現(xiàn)有的流引擎,包括Apache Flink, Spark streaming和Kafka Streams。為什么要搞一個(gè)新的呢?
官方也給出了具體的說(shuō)明:(可以說(shuō)非常炸裂)
無(wú)服務(wù)器運(yùn)維:Arroyo管道被設(shè)計(jì)為在現(xiàn)代云環(huán)境中運(yùn)行,支持無(wú)縫擴(kuò)展、恢復(fù)和重新調(diào)度。
高性能SQL:SQL是一流的關(guān)注點(diǎn),具有始終優(yōu)秀的性能。
專為非專家設(shè)計(jì):Arroyo從其內(nèi)部實(shí)現(xiàn)中清晰地分離了管道API。使用者不需要成為流處理專家即可構(gòu)建實(shí)時(shí)數(shù)據(jù)pipeline。
如何開始
可以通過(guò)運(yùn)行以下Docker命令來(lái)使用只有單個(gè)節(jié)點(diǎn)的Arroyo群集:
$dockerrun-p8000:8000-p8001:8001ghcr.io/arroyosystems/arroyo-single:multi-arch
然后可以在瀏覽器打開:http://localhost:8000
深入學(xué)習(xí)
官方文檔:https://doc.arroyo.dev/getting-started(看了下,文檔寫的非常好)
使用復(fù)雜SQL構(gòu)建你的第一個(gè)pipeline
https://doc.arroyo.dev/tutorial/first-pipeline
總結(jié)
之前也有Rust嘗試做大數(shù)據(jù)套件,但是都沒(méi)有很成功的案例。或許Arroyo將是第一個(gè)用Rust編寫的分布式流處理引擎成功的案例,這樣將再次證明Rust在大數(shù)據(jù)基建領(lǐng)域的可行性。
后面我也會(huì)繼續(xù)關(guān)注Arroyo,并寫一系列的使用教程發(fā)布到本公眾號(hào),并做一些Flink和Arroyo的深入對(duì)比。
謝謝大家支持, 做第一個(gè)吃螃蟹的人。
審核編輯 :李倩
-
SQL
+關(guān)注
關(guān)注
1文章
781瀏覽量
44821 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8492瀏覽量
134131 -
Rust
+關(guān)注
關(guān)注
1文章
233瀏覽量
6967
原文標(biāo)題:Rust流處理新秀,即將抗衡Flink霸主地位
文章出處:【微信號(hào):Rust語(yǔ)言中文社區(qū),微信公眾號(hào):Rust語(yǔ)言中文社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
多相流模擬仿真在核電領(lǐng)域的應(yīng)用及展望

變頻器過(guò)流(oc)類故障原因分析及處理
基于SEGGER的Ozone調(diào)試器和J-Trace工具跟蹤Ferrocene的Rust應(yīng)用
vivo打造最具影響力Rust賽事,點(diǎn)亮基礎(chǔ)軟件事業(yè)的“藍(lán)河時(shí)代”

JavaScript與Rust和WebAssembly集成

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

基于圖遍歷的Flink任務(wù)畫布模式下零代碼開發(fā)實(shí)現(xiàn)方案

RISC-V,即將進(jìn)入應(yīng)用的爆發(fā)期
如何用Rust編寫一個(gè)ChatGPT桌面應(yīng)用(保姆級(jí)教程)

韓國(guó)AI芯片巨頭合并,劍指英偉達(dá)龍頭地位
LED恒流IC領(lǐng)域的照明方案
韓國(guó)智能手機(jī)OLED顯示屏市場(chǎng)失去榜首位置,中國(guó)崛起成新霸主
未來(lái)嵌入式系統(tǒng)的黃金搭檔 MCX N947遇上Rust

Vector和HighTec推出基于Rust和AUTOSAR Classic實(shí)現(xiàn)安全應(yīng)用的解決方案

評(píng)論