spark

基于DPU云盤掛載的Spark優(yōu)化解決方案

1.? 方案背景和挑戰(zhàn) Apache Spark，作為當(dāng)今大數(shù)據(jù)處理領(lǐng)域的佼佼者，憑借其高效的分布式計算能力、內(nèi)存計算優(yōu)化以及強大的生態(tài)系統(tǒng)支持，已牢固...

2024-08-14 標(biāo)簽：云計算DPUSPARK 1056 0

“Spark+Hive”在DPU環(huán)境下的性能測評 | OLAP數(shù)據(jù)庫引擎選型白皮書（24版）DPU部分節(jié)選

在奇點云2024年版《OLAP數(shù)據(jù)庫引擎選型白皮書》中，中科馭數(shù)聯(lián)合奇點云針對Spark+Hive這類大數(shù)據(jù)計算場景下的主力引擎，測評DPU環(huán)境下對比C...

2024-05-30 標(biāo)簽：數(shù)據(jù)庫DPUOLAP 439 0

如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結(jié)篇

一、總體介紹 1.1 背景介紹 近年來，隨著存儲硬件的革新與網(wǎng)絡(luò)技術(shù)的突飛猛進，如NVMe SSD和超高速網(wǎng)絡(luò)接口的普及應(yīng)用，I/O性能瓶頸已得到顯著改...

2024-04-02 標(biāo)簽：cpu網(wǎng)絡(luò)接口DPU 980 0

RDMA技術(shù)在Apache Spark中的應(yīng)用

背景介紹 在當(dāng)今數(shù)據(jù)驅(qū)動的時代，Apache?Spark已經(jīng)成為了處理大規(guī)模數(shù)據(jù)集的首選框架。作為一個開源的分布式計算系統(tǒng)，Spark因其高效的大數(shù)據(jù)處...

2024-03-25 標(biāo)簽：數(shù)據(jù)集RDMASPARK 1448 0

基于DPU和HADOS-RACE加速Spark 3.x

背景簡介 Apache Spark（下文簡稱Spark）是一種開源集群計算引擎，支持批/流計算、SQL分析、機器學(xué)習(xí)、圖計算等計算范式，以其強大的容錯能...

2024-03-25 標(biāo)簽：DPUSPARKRACE 1232 0

Blaze: 用Rust重寫Spark執(zhí)行層，平均提升30%算力

隨著機器硬件的發(fā)展，RAM的價格也大幅降低，這時Spark提出了彈性分布式數(shù)據(jù)集（RDD），這是一種分布式內(nèi)存抽象，可以讓程序員以容錯的方式在大型集群上...

2023-11-22 標(biāo)簽：磁盤SPARKRust 961 0

Docker入門指南之Docker使用場景介紹

在大數(shù)據(jù)平臺型產(chǎn)品的開發(fā)過程中，經(jīng)常要跟許多模塊打交道，包括Hadoop、Hive、Spark、Zookeeper……等多達幾十個開源組件，為了不影響團...

2023-02-06 標(biāo)簽：大數(shù)據(jù)SPARKDocker 635 0

Spark的兩種核心Shuffle詳解

　Spark 之所以一開始就提供基于 Hash 的 Shuffle 實現(xiàn)機制，其主要目的之一就是為了避免不需要的排序，大家想下 Hadoop 中的 Ma...

2022-08-11 標(biāo)簽：二進制磁盤SPARK 2333 0

關(guān)于Spark on Kubernetes實現(xiàn)方案

存儲與計算分離架構(gòu)，這是公認(rèn)的未來大方向，存算分離提供了獨立的擴展性，客戶可以做到數(shù)據(jù)入湖，計算引擎按需擴容，這樣的解耦方式會得到更高的性價比。

2020-10-12 標(biāo)簽：阿里云SPARK云原生 2767 0

來看看Spark和Flink各自的優(yōu)劣和主要區(qū)別

Flink是統(tǒng)一的流和批處理框架，基本數(shù)據(jù)模型是數(shù)據(jù)流，以及事件(Event)的序列，F(xiàn)link從設(shè)計之初秉持了一個觀點:批是流的特例。每一條數(shù)據(jù)都可以...

2019-03-15 標(biāo)簽：gpu數(shù)據(jù)集SPARK 3.1萬 0

工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib

格物匯之前刊發(fā)的《工業(yè)大數(shù)據(jù)處理領(lǐng)域的網(wǎng)紅Apache Spark》中提到，在中國制造2025的技術(shù)路線圖中，工業(yè)大數(shù)據(jù)是作為重要突破點來規(guī)劃的，而在未...

2019-01-10 標(biāo)簽：智能制造工業(yè)互聯(lián)網(wǎng)SPARK 4865 0

一文讀懂 Spark 內(nèi)存管理

作為一個 JVM 進程，Executor 的內(nèi)存管理建立在 JVM 的內(nèi)存管理之上，Spark 對 JVM 的堆內(nèi)(On-heap)空間進行了更為詳細的...

2018-06-04 標(biāo)簽：javarddspark 952 0