電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問(wèn) 
發(fā)資料
發(fā)視頻資料介紹
MPP最開始的設(shè)計(jì)目的是為了消除共享資源的使用，即每個(gè)executor有獨(dú)立的cpu、內(nèi)存和磁盤等資源，每個(gè)executor一般不能訪問(wèn)其他executor的資源。但是有一種情況例外，那就是當(dāng)數(shù)據(jù)必須要通過(guò)網(wǎng)絡(luò)進(jìn)行交換的時(shí)候（譯者注：即shuffle）。這種設(shè)計(jì)理念效果很好，使MPP具有了比較湊合的擴(kuò)展性。
MPP的第二個(gè)重概念是“并發(fā)”，即每個(gè)executor執(zhí)行同樣的數(shù)據(jù)處理邏輯，處理的數(shù)據(jù)則是這個(gè)executor所在的節(jié)點(diǎn)的本地存儲(chǔ)的數(shù)據(jù)分片，在這些執(zhí)行步驟中，有一些被稱為同步點(diǎn)（synchronization points）的東東，這些同步點(diǎn)多數(shù)情況下是在執(zhí)行節(jié)點(diǎn)間的數(shù)據(jù)交換，比如spark和mr中得shuffle操作。下圖是一個(gè)典型的MPP查詢時(shí)間線，垂直的虛線表示同步點(diǎn)，例如，如果遇到j(luò)oin或者aggregation（譯者注：即sql中的group by）操作，就需要一個(gè)同步操作來(lái)完成shuffle，而task本身（譯者注：executor是進(jìn)程級(jí)概念，task是executor內(nèi)部的線程）則執(zhí)行的是數(shù)據(jù)聚合、join、排序以及其他可以在本節(jié)點(diǎn)獨(dú)立完成的任務(wù)。
- ChatGPT:AI模型框架研究 1次下載
- 開源霧計(jì)算軟件框架FogLAMP介紹（二）：FogLAMP介紹
- 開源霧計(jì)算軟件框架FogLAMP介紹（三）：FogLAMP架構(gòu)分析
- 基于boosting框架的混合秩矩陣分解模型 13次下載
- 一種基于框架特征的共指消解方法 7次下載
- 什么是框架？MATLAB的單元測(cè)試框架中文版資料詳細(xì)概述 0次下載
- C++的框架、庫(kù)和資源資料匯總大全
- 如何使用Spark計(jì)算框架進(jìn)行分布式文本分類方法的研究 3次下載
- 基于迭代填充的內(nèi)存計(jì)算框架分區(qū)映射算法 0次下載
- 基于云計(jì)算的監(jiān)控與統(tǒng)計(jì) 10次下載
- MFC框架窗口界面設(shè)計(jì) 0次下載
- LC諧振計(jì)算器(C# .NET2.0框架) 0次下載
- Struts和Spring兩種MVC框架的比較 0次下載
- 手把手教你寫批處理-批處理的介紹
- 批處理常用命令大全 0次下載
- TensorFlow與PyTorch深度學(xué)習(xí)框架的比較與選擇 529次閱讀
- Python自動(dòng)化測(cè)試框架及其應(yīng)用 353次閱讀
- GPT推斷中的批處理（Batching）效應(yīng)簡(jiǎn)析 574次閱讀
- API測(cè)試框架Grillon概述 1895次閱讀
- qiling框架和AFLplusplus安裝 1667次閱讀
- 基于SSM框架的新聞管理系統(tǒng) 1120次閱讀
- 一個(gè)高性能異步計(jì)算框架介紹 710次閱讀
- cartography框架安裝與建圖測(cè)試 1330次閱讀
- 可信增強(qiáng)的Flask訪問(wèn)控制框架的總體應(yīng)用設(shè)計(jì)和實(shí)施方法 2664次閱讀
- 現(xiàn)在流行的Web APP開發(fā)框架有哪些 1.1w次閱讀
- Facebook與CMU聯(lián)手打造開源框架PyRobot 3746次閱讀
- 邊緣計(jì)算的兩種處理機(jī)制介紹 3956次閱讀
- 嵌入式應(yīng)用框架EAF詳解 2699次閱讀
- 什么是Hibernate?Hibernate框架架構(gòu)與框架原理分析 5234次閱讀
- 采用Xilinx Zynq SoC 為云計(jì)算提速 1033次閱讀
上傳資料賺積分下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 93次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識(shí)別和講解說(shuō)明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7基于單片機(jī)和 SG3525的程控開關(guān)電源設(shè)計(jì)
- 0.23 MB | 3次下載 | 免費(fèi)
- 8基于單片機(jī)的紅外風(fēng)扇遙控
- 0.23 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
工商網(wǎng)監(jiān)
評(píng)論