適用于 Apache Spark 的 RAPIDS 加速器可以幫助公司提升性能并保護環(huán)境。
各大公司正在研究加速計算如何能提升它們的基準性能,同時還能給地球帶來積極影響。
適用于 Apache Spark 的 NVIDIA RAPIDS 加速器軟件可以加速數據分析,不僅能提升性能、降低成本,還可以提升能效。這意味著它可以幫助公司實現溫室氣體(如二氧化碳)零排放的目標。
一項新的基準測試表明,RAPIDS 加速器能讓一家公司減少多達 80% 碳足跡,同時將計算速度平均提升五倍,計算成本降低 4 倍。
許多公司都能從這一技術中獲益。包括 80% 的世界五百強在內的數千家公司,都在采用 Apache Spark 來分析它們日益增長的數據。
事實上,如果每家采用 Apache Spark 的公司都使用 RAPIDS 加速器,他們每年可共計減少 7.8 公噸的二氧化碳排放,減排效果相當于一輛車使用 878 加侖汽油所產生的排放量。這很好地證明了綠色計算科技能夠對抗氣候變化。
人類面臨的挑戰(zhàn)
據聯合國,超過 70 個國家已經為溫室氣體排放設定了一個凈零目標。聯合國將“向凈零排放轉型”描述為“人類目前面臨的最大的挑戰(zhàn)之一”。
許多公司正在為此做出自身的貢獻。
例如,NVIDIA 正在與一家大型金融服務公司合作,測試將 Apache Spark 應用到實時欺詐保護中。該公司希望借助加速計算降低碳足跡,并與 Net-Zero Banking Alliance 等組織通力合作。
5月份,世界上最大的 AI 超級計算機之一證實了加速計算能提高能效。
在四個熱門的科學應用中,位于美國國家能源研究科學計算中心(NERSC)的 Perlmutter 系統(tǒng)的能效平均提升了五倍,這要歸功于 NVIDIA A100 Tensor Core GPU 。與使用 CPU 相比,一個天氣預報應用實現了 9.8 倍加速。
NERSC 應用程序通過加速計算實現了效率提升
AT&T 接入 RAPIDS 加速器
美國電話電報公司(AT&T)、Adobe 和美國聯邦稅務局(IRS)等組織已經發(fā)現了 RAPIDS 加速器的性能和成本優(yōu)勢。
在去年的一次測試中,AT&T 僅用五個小時就處理了一個月的移動數據——足有 2.8 萬億行信息。這比以往的任何測試都要快 3.3 倍,而成本降低了 60%。
AT&T 的 AI 架構師 Abhay Dabholkar 在一篇博客中寫道:“這一結果令人振奮,因為如果是用 CPU 集群,僅僅是七天的數據就需要處理超過 48 小時——曾經,我們手握數據,但卻由于處理時間太長而無法使用它?!?/p>
“如果一項任務耗時太長,而且數據太多,那么我們建議轉向 GPU ,并借助 Spark ,CPU 上運行的代碼也可以在 GPU 上運行。”他補充說。
Adobe 加速服務
Adobe 在其 Intelligent Services 平臺上使用了加速計算,幫助市場營銷團隊用 AI 來加速分析。
他們發(fā)現,使用 RAPIDS 加速器時,單個 NVIDIA GPU 節(jié)點的性能可以比 16 個節(jié)點的 CPU 集群高出 33% ,同時將計算成本降低 70% 。
在另一個訓練 AI 模型的測試中,使用搭載 GPU 加速的RAPIDS 庫將速度提高了 7 倍,與在 CPU 上運行的同一任務相比,其成本節(jié)省了 90% 。
Adobe 的機器學習工程師張磊在 GTC 大會發(fā)表的演講中表示:“這能極大節(jié)省成本,提升速度,真是令人震驚?!?/p>
Spark 帶來 20 倍的提升
CPU 的性能不足以處理分析所需的 3TB 以上的數據集,因此 IRS 轉向了 RAPIDS 加速器。
一個由 GPU 驅動的服務器組成的 Spark 集群能夠處理這些數據負載,并為處理更大的數據集開啟了一扇門。
IRS 研究和應用分析與統(tǒng)計部門技術主管 Joe Ansaldi 在一篇博客中表示:“我們目前正在實施這一整合,我們的數據工程和數據科學工作流程以一半的成本實現了超過 20 倍的速度提升。”
如何邁出第一步
提升性能和減少成本的程度在不同的工作負載中有所不同。正因為此,NVIDIA 推出了一款加速的 Spark 分析工具。
該工具向用戶展示了 RAPIDS 加速器在無需更改任何代碼的情況下,在他們的應用程序上可以實現怎樣的提升。該工具還能幫助用戶對 GPU 加速進行微調,以在他們的工作負載上獲得最佳效果。
一旦 RAPIDS 加速器提高了關鍵性能,公司就可以計算節(jié)省的能源,并報告他們在保護地球方面所取得的進展。
觀看下方視頻以了解 Cloudera 數據平臺如何用適用于 Apache Spark 的 RAPIDS 加速器提速 44 倍。
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼,關注更多會議及活動信息。
原文標題:拯救環(huán)境:加速分析推動降本減排
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3721瀏覽量
90693
原文標題:拯救環(huán)境:加速分析推動降本減排
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論