Flink Remote Shuffle Flink任務間數(shù)據(jù)交換

Flink Remote Shuffle 是一種批場景下利用外部服務完成任務間數(shù)據(jù)交換的 Shuffle 實現(xiàn)，本文后續(xù)將詳細介紹 Flink Remote Shuffle 研發(fā)的背景，以及 Flink Remote Shuffle 的設計與使用。

重要特性

1. 存儲計算分離：存儲計算分離使計算資源與存儲資源可以獨立伸縮，計算資源可以在計算完成后立即釋放，Shuffle 穩(wěn)定性不再受計算穩(wěn)定性影響。

2. 支持多種部署模式：支持 Kubernetes、Yarn 以及 Standalone 環(huán)境下部署。

3. 采用了類似 Flink Credit-Based 流量控制機制，實現(xiàn)了零拷貝數(shù)據(jù)傳輸，最大限度的使用受管理的內(nèi)存 (managed memory) 以避免 OOM，提高了系統(tǒng)穩(wěn)定性與性能。

4. 實現(xiàn)了包括負載均衡、磁盤 IO 優(yōu)化、數(shù)據(jù)壓縮、連接復用、小包合并等諸多優(yōu)化，實現(xiàn)了優(yōu)秀的性能與穩(wěn)定性表現(xiàn)。

5. 支持 Shuffle 數(shù)據(jù)正確性校驗，能夠容忍 Shuffle 進程乃至物理節(jié)點重啟。

6. 結(jié)合 FLIP-187: Flink Adaptive Batch Job Scheduler[11]?可支持動態(tài)執(zhí)行優(yōu)化，如動態(tài)決定算子并發(fā)度。

設計思路與原理介紹

參閱此文章：https://www.oschina.net/news/171564/flink-remote-shuffle-open-source

?