0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

使用并行計(jì)算加速高性能計(jì)算應(yīng)用程序

星星科技指導(dǎo)員 ? 來(lái)源:嵌入式計(jì)算設(shè)計(jì) ? 作者:Uri Mishol ? 2022-06-14 14:29 ? 次閱讀

近年來(lái),某些涉及復(fù)雜、大規(guī)模數(shù)據(jù)處理的軟件領(lǐng)域的復(fù)雜程度越來(lái)越高。因此,現(xiàn)在在現(xiàn)代硬件上處理需要數(shù)小時(shí),有時(shí)甚至數(shù)天或數(shù)周。處理各種模擬、能源分析、計(jì)算機(jī)輔助設(shè)計(jì)和計(jì)算機(jī)輔助制造 (CAD/CAM)、圖形渲染、生命科學(xué)、財(cái)務(wù)和數(shù)據(jù)轉(zhuǎn)換的軟件尤其如此。加速這些軟件包中的處理功能不僅可以提高用戶滿意度,而且可以在使用該軟件的組織中實(shí)現(xiàn)更高的準(zhǔn)確性、更好的決策和更高效的工作程序。因此,軟件加速已成為這些領(lǐng)域軟件組織的重中之重。

一種明顯的軟件加速方法是投資于更強(qiáng)大的計(jì)算機(jī)硬件。隨著處理器技術(shù)的不斷改進(jìn),這種方法作為短期決策是有效的。然而,從長(zhǎng)遠(yuǎn)來(lái)看,它往往會(huì)失敗,因?yàn)樘幚硇枨笠餐鶗?huì)持續(xù)增加,并且在許多情況下結(jié)果不符合應(yīng)用要求。對(duì)于大規(guī)模部署的軟件,對(duì)強(qiáng)大服務(wù)器的投資可能非常昂貴。由于這些因素,軟件組織越來(lái)越多地尋求并行和分布式處理系統(tǒng)作為加速耗時(shí)的計(jì)算應(yīng)用程序的經(jīng)濟(jì)有效的方式。

并行計(jì)算選項(xiàng)

使用并行計(jì)算來(lái)加速高度復(fù)雜的計(jì)算過(guò)程并不是一個(gè)新概念。這種方法已經(jīng)過(guò)測(cè)試和驗(yàn)證,并且隨著最近價(jià)格實(shí)惠的多核和基于通用圖形處理單元 (GPGPU) 的技術(shù)的涌入,它現(xiàn)在比以往任何時(shí)候都更加重要。

然而,選擇正確的技術(shù)來(lái)加速耗時(shí)的計(jì)算過(guò)程遠(yuǎn)非一個(gè)簡(jiǎn)單的決定。實(shí)現(xiàn)并行或分布式系統(tǒng)的各種選項(xiàng)在最終的加速潛力以及直接開(kāi)發(fā)成本和間接/長(zhǎng)期成本(維護(hù)、基礎(chǔ)設(shè)施、能源等)方面存在很大差異。在考慮將現(xiàn)有代碼遷移到并行或分布式架構(gòu)的平臺(tái)時(shí)尤其如此。與更好的替代方案相比,選擇不太理想的系統(tǒng)可能會(huì)導(dǎo)致直接和間接成本顯著增加。

選擇正確的并行或分布式架構(gòu)的部分不確定性在于 耗時(shí)過(guò)程的多樣性,每個(gè)過(guò)程都涉及不同的要求和考慮。在為特定流程選擇加速方法時(shí),重要的是要考慮所涉及場(chǎng)景的特征和限制。開(kāi)發(fā)人員可以使用一些參數(shù)來(lái)表征高度計(jì)算的過(guò)程,然后選擇適當(dāng)?shù)募铀俜椒ā?/p>

CPU 密集型與 I/O 密集型進(jìn)程

某些類(lèi)型的應(yīng)用程序(例如數(shù)據(jù)倉(cāng)庫(kù)和企業(yè)資源規(guī)劃)以廣泛的數(shù)據(jù)訪問(wèn)為特征,而其他類(lèi)型的應(yīng)用程序(例如模擬、渲染和地形分析)通常更加強(qiáng)調(diào)算法或受 CPU 限制的復(fù)雜性。如果要并行執(zhí)行的應(yīng)用程序部分是算法而不是數(shù)據(jù)密集型(也就是說(shuō),它們受 CPU 限制多于 I/O 限制),則在本地網(wǎng)絡(luò)上并行執(zhí)行,或者在某些情況下超過(guò)應(yīng)考慮廣域網(wǎng) (WAN),因?yàn)樗行У乩昧丝捎玫挠布Y源。對(duì)于數(shù)據(jù)綁定較多且涉及讀取和寫(xiě)入大量數(shù)據(jù)的進(jìn)程,所選擇的架構(gòu)應(yīng)解決預(yù)期的數(shù)據(jù)瓶頸,重點(diǎn)是高吞吐量磁盤(pán)和網(wǎng)絡(luò)系統(tǒng)。

高度隔離與環(huán)境相關(guān)的過(guò)程

此特性指的是要并行執(zhí)行的進(jìn)程與主機(jī)環(huán)境之間的交互級(jí)別——特別是要并行運(yùn)行的應(yīng)用程序的大小和復(fù)雜性(可執(zhí)行文件、庫(kù)和二進(jìn)制依賴(lài)項(xiàng))、文件系統(tǒng)活動(dòng)、以及訪問(wèn)其他環(huán)境數(shù)據(jù)庫(kù),例如注冊(cè)表和環(huán)境塊。一個(gè)高度隔離的應(yīng)用程序涉及最少的此類(lèi)交互;然而,依賴(lài)于運(yùn)行時(shí)環(huán)境的應(yīng)用程序通常需要并行計(jì)算體系結(jié)構(gòu)來(lái)為相關(guān)計(jì)算機(jī)預(yù)先配置所需的全套軟件和數(shù)據(jù)文件,或者包括一個(gè)虛擬化組件來(lái)模擬每個(gè)計(jì)算節(jié)點(diǎn)上的運(yùn)行環(huán)境。存在幾種并行計(jì)算環(huán)境中的虛擬化方法,

令人尷尬的并行與固有的串行過(guò)程(以及介于兩者之間的所有過(guò)程)

使構(gòu)建并行計(jì)算架構(gòu)的開(kāi)發(fā)工作變得復(fù)雜的一個(gè)問(wèn)題是應(yīng)用程序是否適合“切片”成多個(gè)可并行運(yùn)行的獨(dú)立可執(zhí)行部分。一些遺留應(yīng)用程序需要密集的代碼結(jié)構(gòu)重構(gòu)才能實(shí)現(xiàn)這一點(diǎn)。其他人需要很少或根本不需要工作來(lái)準(zhǔn)備應(yīng)用程序以進(jìn)行并行執(zhí)行。最常見(jiàn)的例子是批量順序數(shù)據(jù)處理,其中相同的過(guò)程一遍又一遍地執(zhí)行,每次都使用不同的輸入集。此類(lèi)示例有時(shí)被描述為“令人尷尬的并行”,以表明將它們轉(zhuǎn)換為并行執(zhí)行模型的相對(duì)簡(jiǎn)單性。另一方面,一些應(yīng)用程序“本質(zhì)上是串行的”,并不適合并行執(zhí)行。有了這些應(yīng)用程序,

高端與經(jīng)濟(jì)高效的加速要求

商業(yè)并行計(jì)算平臺(tái)成本差異很大,高端系統(tǒng)比低端系統(tǒng)高幾個(gè)數(shù)量級(jí)。因此,通過(guò)遷移到并行計(jì)算環(huán)境來(lái)定義性能改進(jìn)預(yù)期非常重要。根據(jù)定義,通過(guò)并行計(jì)算加速是一種收益遞減的舉措。在許多情況下,將執(zhí)行時(shí)間減少 50% 到 70% 就足以使應(yīng)用程序性能發(fā)生根本性的變化,而將其提高到 80% 到 90% 的額外價(jià)值并不值得投資。雖然低端和中端并行計(jì)算系統(tǒng)提供了合理的性能改進(jìn),但高端系統(tǒng)提供了 10% 到 20% 的額外加速,但其顯著的額外成本并不總是合理的。

舊版應(yīng)用程序與新開(kāi)發(fā)的應(yīng)用程序

出于顯而易見(jiàn)的原因,轉(zhuǎn)換最初設(shè)計(jì)用于串行執(zhí)行的遺留應(yīng)用程序比設(shè)計(jì)用于并行執(zhí)行的新應(yīng)用程序要耗時(shí)和昂貴得多。大多數(shù)并行計(jì)算平臺(tái)都提供允許軟件開(kāi)發(fā)人員修改應(yīng)用程序代碼以利用該平臺(tái)的 API。一些 API 比其他 API 更復(fù)雜,建議開(kāi)發(fā)人員具有這些 API 的先前經(jīng)驗(yàn),以便與平臺(tái)有效集成。

通過(guò)并行計(jì)算實(shí)現(xiàn)軟件加速的方法

如前所述,商業(yè)并行計(jì)算平臺(tái)的定價(jià)在低端和高端產(chǎn)品之間存在很大差異。此外,高端系統(tǒng)需要相當(dāng)復(fù)雜的適配和管理,軟件許可和專(zhuān)業(yè)服務(wù)的綜合成本使價(jià)格差異更大,高端系統(tǒng)的成本有時(shí)比簡(jiǎn)單系統(tǒng)高幾個(gè)數(shù)量級(jí)。

此外,在將現(xiàn)有應(yīng)用程序遷移到并行計(jì)算架構(gòu)時(shí),重要的是要考慮適應(yīng)并行計(jì)算平臺(tái)(專(zhuān)業(yè)服務(wù)、編程和質(zhì)量保證)所涉及的遷移成本。因此,建議選擇一種方法,該方法將提供最少的功能集以充分滿足軟件項(xiàng)目的需求,而無(wú)需投資于不必要的昂貴的高端系統(tǒng)。

以下概述檢查了當(dāng)前的并行計(jì)算平臺(tái)類(lèi)別,并解釋了每個(gè)類(lèi)別與上一節(jié)中介紹的特征的關(guān)系。

使用多核和/或 GPGPU 進(jìn)行本地并行化

近年來(lái),隨著強(qiáng)大的多核 CPU 和 GPGPU 的引入,在單機(jī)內(nèi)使用并行計(jì)算資源加速計(jì)算過(guò)程的潛力已顯著增長(zhǎng)。雖然使用這些技術(shù)進(jìn)行本地并行化的能力仍然受到硬件規(guī)格的限制,但在許多情況下,它們提供了一種具有成本效益的低端替代全面分布式系統(tǒng)。并行本地化還可以解決投資某些分布式計(jì)算技術(shù)所需的虛擬化技術(shù)的需要。使用多核和/或 GPGPU 的好處包括:

多核利用率:可以修改 CPU 綁定比 I/O 綁定更多的應(yīng)用程序,以將不同的可執(zhí)行部分作為單獨(dú)的進(jìn)程并行運(yùn)行。當(dāng)今的現(xiàn)代操作系統(tǒng) (OS) 可以識(shí)別多個(gè) CPU 內(nèi)核,并且可以自動(dòng)管理并行進(jìn)程并將每個(gè)進(jìn)程發(fā)送到使用不同的內(nèi)核運(yùn)行,從而實(shí)現(xiàn)有效的并行化。在具有簡(jiǎn)單并行分離潛力的應(yīng)用中,這通常是一種成功的方法。這種方法的主要問(wèn)題是硬件限制,因?yàn)槊總€(gè)系統(tǒng)中的內(nèi)核數(shù)量是有限的,并且通常所有進(jìn)程只共享一個(gè)磁盤(pán)驅(qū)動(dòng)器。但是,可以使用 IncrediBuild-XGE(圖 1)之類(lèi)的系統(tǒng)來(lái)避免這些問(wèn)題,該系統(tǒng)允許并行使用多個(gè)內(nèi)核的應(yīng)用程序自動(dòng)使用本地網(wǎng)絡(luò)中的所有可用內(nèi)核。

GPGPU:這些組件正在迅速興起,成為使用 PC 和服務(wù)器中現(xiàn)有并行資源實(shí)現(xiàn)加速的另一種方式。GPU 最初設(shè)計(jì)用于與一般處理任務(wù)并行處理面向圖形的處理任務(wù),現(xiàn)在可用于處理非圖形處理任務(wù),硬件供應(yīng)商針對(duì)具有多個(gè)強(qiáng)大 GPU 的系統(tǒng)來(lái)推廣這種方法?;?GPU 的并行計(jì)算在線程級(jí)別執(zhí)行(每個(gè)進(jìn)程有多個(gè)并行線程,每個(gè)線程使用不同的 GPU)并涉及使用專(zhuān)用 API,例如 OpenCL 和 CUDA,這需要專(zhuān)業(yè)知識(shí),有時(shí)還需要大量的開(kāi)發(fā)工作。

圖 1:使用進(jìn)程虛擬化將進(jìn)程分配到本地網(wǎng)絡(luò)上的空閑資源。

pYYBAGKoKwuAdH2EAAGoObBOvW4946.png

內(nèi)部(非通用)分布式計(jì)算實(shí)現(xiàn)

在涉及簡(jiǎn)單并行化挑戰(zhàn)的場(chǎng)景中,其中目標(biāo)應(yīng)用程序高度孤立、令人尷尬地并行(或接近它),并且可以在不需要投資高端基礎(chǔ)設(shè)施的情況下獲得合理的加速結(jié)果,開(kāi)發(fā)一個(gè)特定于應(yīng)用程序的應(yīng)用程序可能是可行的分布式計(jì)算實(shí)現(xiàn)。最簡(jiǎn)單的示例將涉及在單獨(dú)的預(yù)定義服務(wù)器上并行運(yùn)行應(yīng)用程序的不同部分。目標(biāo)應(yīng)用程序的相對(duì)簡(jiǎn)單性可能使創(chuàng)建專(zhuān)有系統(tǒng)所涉及的開(kāi)發(fā)和維護(hù)成本與改編商業(yè)系統(tǒng)相當(dāng),甚至更便宜。

這種方法的另一個(gè)優(yōu)點(diǎn)是在開(kāi)發(fā)專(zhuān)有系統(tǒng)時(shí)實(shí)現(xiàn)了高度的靈活性。然而,對(duì)于除了最簡(jiǎn)單的場(chǎng)景之外的幾乎任何場(chǎng)景,在內(nèi)部開(kāi)發(fā)并行計(jì)算實(shí)現(xiàn)可能會(huì)導(dǎo)致昂貴的持續(xù)維護(hù)工作和處理通用系統(tǒng)已經(jīng)解決的問(wèn)題的復(fù)雜性,例如錯(cuò)誤處理、可用性、可伸縮性、動(dòng)態(tài)資源分配、管理要求和報(bào)告。

計(jì)算集群

計(jì)算集群是一組專(zhuān)用于共享應(yīng)用程序工作負(fù)載的服務(wù)器。集群中的服務(wù)器運(yùn)行同構(gòu)環(huán)境,包括最新版本的運(yùn)行時(shí)環(huán)境(應(yīng)用程序和二進(jìn)制依賴(lài)項(xiàng))和對(duì) I/O 文件的共享訪問(wèn)。擁有諸如計(jì)算集群之類(lèi)的專(zhuān)用計(jì)算環(huán)境消除了對(duì)虛擬化的需求(參見(jiàn)上一節(jié)關(guān)于高度隔離與環(huán)境相關(guān)的進(jìn)程),并提供了對(duì)計(jì)算集群的有效集中管理。這種方法的缺點(diǎn)是:

維護(hù)運(yùn)行該軟件的昂貴服務(wù)器的專(zhuān)用場(chǎng)會(huì)產(chǎn)生額外成本,并且不會(huì)利用連接到網(wǎng)絡(luò)的現(xiàn)有硬件中未使用的計(jì)算能力。

集群通常專(zhuān)用于單個(gè)應(yīng)用程序,不能支持多個(gè)應(yīng)用程序。

將現(xiàn)有應(yīng)用程序遷移到計(jì)算集群平臺(tái)通常涉及大量軟件開(kāi)發(fā)以使應(yīng)用程序適應(yīng)使用集群 API。

基于集群的系統(tǒng)可以與高吞吐量存儲(chǔ)以及網(wǎng)絡(luò)硬件和軟件相結(jié)合,以?xún)?yōu)化具有高端性能要求的數(shù)據(jù)綁定應(yīng)用程序的性能。

網(wǎng)格計(jì)算

網(wǎng)格計(jì)算在某種意義上類(lèi)似于集群計(jì)算,它涉及一組致力于解決一個(gè)共同問(wèn)題的計(jì)算機(jī),但不同于集群計(jì)算,它允許在同一個(gè)網(wǎng)格中混合異構(gòu)系統(tǒng)(不同的操作系統(tǒng)和硬件)。網(wǎng)格系統(tǒng)也不限制對(duì)單個(gè)應(yīng)用程序的使用,并且能夠?qū)B接到網(wǎng)格的系統(tǒng)進(jìn)行更分布式的控制和管理。最后,就所涉及的節(jié)點(diǎn)數(shù)量而言,網(wǎng)格允許最大規(guī)模的分布式系統(tǒng)架構(gòu),大型系統(tǒng)有時(shí)會(huì)達(dá)到數(shù)千個(gè)互連節(jié)點(diǎn)。

一些網(wǎng)格系統(tǒng)不僅利用專(zhuān)用服務(wù)器的綜合計(jì)算能力,還允許 PC 和工作站在運(yùn)行其他計(jì)算任務(wù)時(shí)為網(wǎng)格貢獻(xiàn)空閑的處理器周期。例如,使用 Microsoft Word 等文字處理工具編寫(xiě)文檔的用戶可以同時(shí)將 80% 到 90% 的空閑處理能力貢獻(xiàn)給在網(wǎng)格上運(yùn)行的計(jì)算任務(wù)。這種同時(shí)利用可以顯著提高網(wǎng)格的潛在計(jì)算能力;然而,為了實(shí)現(xiàn)這一點(diǎn),在網(wǎng)格上運(yùn)行的應(yīng)用程序需要修改以使用網(wǎng)格系統(tǒng)的 API。應(yīng)用程序?qū)Νh(huán)境的依賴(lài)程度越高,應(yīng)用程序代碼的更改就越廣泛,以允許其利用非專(zhuān)用機(jī)器上的可用計(jì)算能力。

網(wǎng)格計(jì)算系統(tǒng)通常是具有最全面的特性集和功能的分布式并行處理產(chǎn)品。因此,它們?cè)谒璧膶?zhuān)業(yè)知識(shí)方面也往往相當(dāng)復(fù)雜,無(wú)論是在開(kāi)發(fā)工作(將現(xiàn)有代碼遷移到平臺(tái) API)還是在持續(xù)的維護(hù)和管理工作中。因此,建議在考慮基于網(wǎng)格的方法時(shí)評(píng)估這些方面。

網(wǎng)格系統(tǒng)可以是商業(yè)的或開(kāi)源的。開(kāi)源系統(tǒng)成本較低,但往往會(huì)留下項(xiàng)目未涵蓋的開(kāi)放端(調(diào)度、管理和物理實(shí)施方面),并且需要內(nèi)部開(kāi)發(fā)或與項(xiàng)目開(kāi)發(fā)社區(qū)合作。因此,仔細(xì)評(píng)估完成開(kāi)源系統(tǒng)中缺少的組件所涉及的總擁有成本非常重要。一些商業(yè)網(wǎng)格計(jì)算產(chǎn)品提供了更完整的功能集。

網(wǎng)格計(jì)算產(chǎn)品往往處于并行分布式系統(tǒng)價(jià)格范圍的最高端。與基于集群的系統(tǒng)一樣,基于網(wǎng)格的系統(tǒng)可以與高端產(chǎn)品相結(jié)合,以?xún)?yōu)化網(wǎng)絡(luò)和存儲(chǔ)瓶頸。

公共計(jì)算云

亞馬遜的 EC2 和微軟的 Azure 平臺(tái)等公共云是一種計(jì)算形式,在這種計(jì)算形式中,云用戶通過(guò) Internet 從虛擬化計(jì)算場(chǎng)購(gòu)買(mǎi)計(jì)算能力,而不是在存儲(chǔ)在組織位置的計(jì)算機(jī)上運(yùn)行的私有云。支付模式靈活,允許用戶根據(jù)需求增減算力,只為隨時(shí)間使用的算力付費(fèi)。這大大減少了對(duì)現(xiàn)場(chǎng)硬件和基礎(chǔ)設(shè)施進(jìn)行長(zhǎng)期投資的需要。公有云傳統(tǒng)上用于業(yè)務(wù)應(yīng)用程序,強(qiáng)調(diào)負(fù)載平衡要求而不是加速計(jì)算過(guò)程,但公有云高性能計(jì)算系統(tǒng)越來(lái)越受歡迎。

公有云高性能計(jì)算的優(yōu)勢(shì)包括:

靈活的按需付費(fèi)許可

無(wú)需投資和維護(hù)專(zhuān)用硬件

不要求高端性能的應(yīng)用的有效選擇

缺點(diǎn)包括:

隨著時(shí)間的推移,服務(wù)成本可能會(huì)很高

當(dāng)敏感數(shù)據(jù)從組織的服務(wù)器傳輸?shù)?Internet 時(shí)會(huì)引發(fā)安全問(wèn)題

在某些情況下,通過(guò) WAN 連接上傳和下載大量數(shù)據(jù)的延遲可能會(huì)造成性能瓶頸

需要維護(hù)虛擬系統(tǒng)映像或修改平臺(tái) API 的代碼或兩者兼而有之,這可能非常耗時(shí)且需要專(zhuān)業(yè)知識(shí)

創(chuàng)建對(duì)公共云供應(yīng)商和開(kāi)放 Internet 連接可用性的依賴(lài)

應(yīng)對(duì)異質(zhì)性挑戰(zhàn)的新方法

在加速與計(jì)算環(huán)境交互的應(yīng)用程序(讀/寫(xiě)文件、二進(jìn)制可執(zhí)行文件、動(dòng)態(tài)鏈接庫(kù)以及讀取注冊(cè)表和環(huán)境值)時(shí),傳統(tǒng)分布式計(jì)算系統(tǒng)面臨挑戰(zhàn)。

一種方法是專(zhuān)門(mén)為分布式應(yīng)用程序預(yù)裝所需的運(yùn)行時(shí)環(huán)境和文件的計(jì)算集群。這可以滿足應(yīng)用程序的要求,但需要對(duì)專(zhuān)用服務(wù)器進(jìn)行投資,并且不能利用連接到網(wǎng)絡(luò)的現(xiàn)有 PC 和工作站中可用的計(jì)算能力。它還需要維護(hù)集群并確保它始終運(yùn)行最新版本的運(yùn)行時(shí)和數(shù)據(jù)環(huán)境。

虛擬化允許服務(wù)器通過(guò)每次加載不同的系統(tǒng)映像來(lái)按需更改運(yùn)行時(shí)環(huán)境,從而提高可管理性并增加靈活性。但是,虛擬映像初始化形成了一個(gè)額外的瓶頸,并且與集群系統(tǒng)一樣,它不能有效地利用現(xiàn)有計(jì)算機(jī)上有時(shí)大量的空閑處理能力。

一些網(wǎng)格平臺(tái)提供的 API 在集成到應(yīng)用程序代碼時(shí)允許使用遠(yuǎn)程機(jī)器資源,而無(wú)需對(duì)這些機(jī)器進(jìn)行大量預(yù)配置。在某些情況下,這有效地使非專(zhuān)用機(jī)器能夠連接到電網(wǎng)并貢獻(xiàn)它們的空閑處理能力。但是,這僅適用于某些場(chǎng)景,并且在大多數(shù)情況下需要對(duì)應(yīng)用程序代碼進(jìn)行大量修改。

通過(guò)像 IncrediBuild-XGE 這樣的平臺(tái)進(jìn)行流程虛擬化是一種新的并行分布式計(jì)算方法,它通過(guò)將基于集群的系統(tǒng)的遷移和部署相對(duì)容易性與網(wǎng)格系統(tǒng)的計(jì)算強(qiáng)度和靈活性相結(jié)合來(lái)實(shí)現(xiàn)軟件加速。

使用進(jìn)程虛擬化,啟動(dòng)器機(jī)器發(fā)送進(jìn)程以在連接到網(wǎng)絡(luò)的其他機(jī)器上并行執(zhí)行。然后,這些進(jìn)程將與當(dāng)時(shí)在操作系統(tǒng)上運(yùn)行的任何其他進(jìn)程一起在這些機(jī)器上運(yùn)行,但將在一個(gè)特殊的自包含虛擬環(huán)境中運(yùn)行,該環(huán)境完全模擬啟動(dòng)器的環(huán)境,包括已安裝的應(yīng)用程序、文件系統(tǒng)、注冊(cè)表和環(huán)境。這些虛擬進(jìn)程將僅使用遠(yuǎn)程機(jī)器的空閑處理能力,以免干擾與網(wǎng)格活動(dòng)無(wú)關(guān)的并發(fā)運(yùn)行進(jìn)程。資源協(xié)調(diào)模塊還確保隨時(shí)將進(jìn)程分配給系統(tǒng)中最強(qiáng)和最可用的節(jié)點(diǎn)。

由于虛擬化是在進(jìn)程級(jí)別執(zhí)行的,因此無(wú)需為平臺(tái)編寫(xiě)代碼并將特定于平臺(tái)的 API 集成到應(yīng)用程序源代碼以將應(yīng)用程序遷移到網(wǎng)格。相反,IncrediBuild-XGE 使用一個(gè)緊湊的 XML 定義文件,該文件指定哪些進(jìn)程應(yīng)該被外包給網(wǎng)格上的遠(yuǎn)程計(jì)算機(jī),哪些應(yīng)該始終在啟動(dòng)器上運(yùn)行。與需要大量修改源代碼的系統(tǒng)相比,這使得網(wǎng)格啟用速度明顯加快。例如,轉(zhuǎn)換已經(jīng)使用本地并行化(在單臺(tái)機(jī)器上并行 CPU 或內(nèi)核中運(yùn)行的進(jìn)程)的應(yīng)用程序通常需要不到一個(gè)小時(shí)的時(shí)間。由于不再需要維護(hù)虛擬映像庫(kù)或集群環(huán)境,因此也降低了持續(xù)維護(hù)成本。

最終結(jié)果是一個(gè)分布式處理應(yīng)用程序加速平臺(tái),可有效加速新舊應(yīng)用程序,實(shí)現(xiàn)快速集成并降低維護(hù)成本。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    10702

    瀏覽量

    209372
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7174

    瀏覽量

    87157
  • 虛擬化
    +關(guān)注

    關(guān)注

    1

    文章

    355

    瀏覽量

    29672
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    利用NVIDIA RAPIDS加速DolphinDB Shark平臺(tái)提升計(jì)算性能

    DolphinDB 是一家高性能數(shù)據(jù)庫(kù)研發(fā)企業(yè),也是 NVIDIA 初創(chuàng)加速計(jì)劃成員,其開(kāi)發(fā)的產(chǎn)品基于高性能分布式時(shí)序數(shù)據(jù)庫(kù),是支持復(fù)雜計(jì)算和流數(shù)據(jù)分析的實(shí)時(shí)
    的頭像 發(fā)表于 09-09 09:57 ?267次閱讀
    利用NVIDIA RAPIDS<b class='flag-5'>加速</b>DolphinDB Shark平臺(tái)提升<b class='flag-5'>計(jì)算</b><b class='flag-5'>性能</b>

    如何理解云計(jì)算?

    據(jù)的安全性。 **高性能計(jì)算:**云計(jì)算平臺(tái)提供高性能計(jì)算資源,用于處理復(fù)雜的科學(xué)和工程計(jì)算
    發(fā)表于 08-16 17:02

    帶你了解什么是高性能計(jì)算(HPC)

    受益于HPC更高的速度處理大量數(shù)據(jù)的能力,全球正在進(jìn)入HPC大周期,高性能計(jì)算的發(fā)展水平已經(jīng)成為衡量一個(gè)國(guó)家綜合實(shí)力和高科技發(fā)展水平的重要標(biāo)志,美國(guó)、歐盟、日本、英國(guó)都高度重視高性能計(jì)算
    的頭像 發(fā)表于 07-20 08:28 ?305次閱讀
    帶你了解什么是<b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>(HPC)

    芯品# 高性能計(jì)算芯片

    (LSE:AWE)是全球技術(shù)基礎(chǔ)設(shè)施高速連接和計(jì)算芯片的全球領(lǐng)導(dǎo)者,與Arm合作開(kāi)發(fā)基于Arm ? Neoverse?計(jì)算子系統(tǒng)(CSS)的高級(jí)計(jì)算芯片,用于人工智能/機(jī)器學(xué)習(xí)(AI/ML),
    的頭像 發(fā)表于 06-27 10:28 ?2244次閱讀

    高性能計(jì)算集群的能耗優(yōu)化

    高性能計(jì)算(HighPerformanceComputing,HPC)是指利用大規(guī)模并行計(jì)算機(jī)集群來(lái)解決復(fù)雜的科學(xué)和工程問(wèn)題的技術(shù)。高性能計(jì)算
    的頭像 發(fā)表于 05-25 08:27 ?231次閱讀
    <b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>集群的能耗優(yōu)化

    高性能計(jì)算的原理與實(shí)踐:從基本概念到架構(gòu)解析

    。從那時(shí)起,高性能計(jì)算就開(kāi)始了它的發(fā)展歷程,經(jīng)歷了多個(gè)階段和變革,如馮·諾依曼結(jié)構(gòu)、并行處理器、超級(jí)計(jì)算機(jī)、集群系統(tǒng)、云計(jì)算平臺(tái)等。目標(biāo):解
    的頭像 發(fā)表于 05-11 08:27 ?329次閱讀
    <b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>的原理與實(shí)踐:從基本概念到架構(gòu)解析

    構(gòu)建高性能計(jì)算芯片

    計(jì)算的異構(gòu)多核架構(gòu),對(duì)整個(gè)芯片行業(yè)的高性能 CPU 開(kāi)發(fā)產(chǎn)生了影響。 這些芯片都不太可能進(jìn)行商業(yè)銷(xiāo)售。它們針對(duì)特定的數(shù)據(jù)類(lèi)型和工作負(fù)載進(jìn)行了優(yōu)化,設(shè)計(jì)預(yù)算龐大,但可以通過(guò)提高性能和降低功耗來(lái)實(shí)現(xiàn)合理化。目標(biāo)是在更小的面積上容納更
    的頭像 發(fā)表于 04-25 10:23 ?1188次閱讀
    構(gòu)建<b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>芯片

    什么是HPC高性能計(jì)算

    高性能計(jì)算(HighPerformanceComputing,簡(jiǎn)稱(chēng)HPC),是指利用集群、網(wǎng)格、超算等計(jì)算機(jī)技術(shù),通過(guò)合理地組織計(jì)算機(jī)資源以及運(yùn)用適合的算法和
    的頭像 發(fā)表于 02-19 13:27 ?649次閱讀
    什么是HPC<b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>

    加速計(jì)算卡與AI顯卡有什么區(qū)別?

    與原理 1. 加速計(jì)算卡:加速計(jì)算卡是一種用于高性能計(jì)算的硬件設(shè)備,主要用于
    的頭像 發(fā)表于 01-09 14:10 ?972次閱讀

    OpenCL多Kernel并行計(jì)算結(jié)果討論分析

    · GitHub 想要完成板卡上多核并行計(jì)算任務(wù),需要包含多個(gè)例化單元的xclbin,對(duì)于要例化為多個(gè)計(jì)算單元的同一內(nèi)核,可以使用nk標(biāo)志指定 conn_u200.cfg 配置文件中的計(jì)算單元數(shù)量。同時(shí)
    發(fā)表于 12-31 21:31

    FPGA在高性能計(jì)算中的優(yōu)勢(shì)及其用例都有哪些?

    近年來(lái),現(xiàn)場(chǎng)可 編程 門(mén)陣列 ( FPGA ) 因其可定制性、并行處理和低延遲而成為高性能計(jì)算 (HPC) 的可行技術(shù)。 高性能計(jì)算 (HP
    的頭像 發(fā)表于 12-09 12:15 ?865次閱讀
    FPGA在<b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>中的優(yōu)勢(shì)及其用例都有哪些?

    人工智能服務(wù)器高性能計(jì)算需求

    人工智能(AI)服務(wù)器是一種專(zhuān)門(mén)為了運(yùn)行人工智能應(yīng)用和提供大數(shù)據(jù)處理能力而設(shè)計(jì)的高性能計(jì)算機(jī)。它既可以支持本地應(yīng)用程序和網(wǎng)頁(yè),也可以為云和本地服務(wù)器提供復(fù)雜的AI模型和服務(wù)。
    的頭像 發(fā)表于 12-08 09:44 ?394次閱讀

    異構(gòu)眾核系統(tǒng)高性能計(jì)算架構(gòu)

    隨著計(jì)算機(jī)技術(shù)的發(fā)展,單核處理器已經(jīng)難以滿足高性能計(jì)算的需求,眾核處理器成為了一種有效的解決方案。眾核處理器是指在一個(gè)芯片上集成多個(gè)處理器核心,通過(guò)并行計(jì)算
    的頭像 發(fā)表于 11-30 08:27 ?616次閱讀
    異構(gòu)眾核系統(tǒng)<b class='flag-5'>高性能</b><b class='flag-5'>計(jì)算</b>架構(gòu)

    如何處理cache miss問(wèn)題以提高加速器效率呢?

    帶寬是影響FPGA加速器的重要因素,因?yàn)榇罅康?b class='flag-5'>并行計(jì)算對(duì)數(shù)據(jù)量要求很大。
    的頭像 發(fā)表于 11-16 16:36 ?1151次閱讀
    如何處理cache miss問(wèn)題以提高<b class='flag-5'>加速</b>器效率呢?

    創(chuàng)新企業(yè)云福利:騰訊云 × NVIDIA 初創(chuàng)加速計(jì)劃

    x NVIDIA 初創(chuàng)加速計(jì)劃 助您降低產(chǎn)品使用門(mén)檻 高性能計(jì)算集 群?HCC 以高性能云服務(wù)器為節(jié)點(diǎn),通過(guò) RDMA 互聯(lián),大幅提升網(wǎng)絡(luò)性能
    的頭像 發(fā)表于 11-13 20:40 ?487次閱讀
    創(chuàng)新企業(yè)云福利:騰訊云 × NVIDIA 初創(chuàng)<b class='flag-5'>加速</b>計(jì)劃