NVIDIA RAPIDS加速器可將工作分配集群中各節(jié)點

借助適用于 Apache Spark 的 NVIDIA RAPIDS 加速器，團隊能夠更快處理數(shù)萬億條記錄，在降低成本的同時優(yōu)化網(wǎng)絡(luò)并提高客戶滿意度。

AT&T 通過無線網(wǎng)絡(luò)連接了從阿留申群島到佛羅里達礁島群的 1 億多名用戶，催生出一片大數(shù)據(jù)海洋。

Abhay Dabholkar 管理著一個研究小組，他們?nèi)缤W耀的燈塔，在數(shù)據(jù)海洋中尋找最佳導(dǎo)航工具。

作為在 AT&T 工作十余年的杰出 AI 架構(gòu)師，Dabholkar 表示：“我們可以使用新工具來改變在 AT&T 的日常工作，這一過程十分有趣，并且當我們?yōu)閱T工提供最新的核心工具時，他們會對自己的工作感到更滿意?！?/p>

近期，該團隊在 GPU 助力的服務(wù)器上測試了適用于 Apache Spark 的 NVIDIA RAPIDS 加速器，該軟件可將工作分配到集群中的各節(jié)點。

在本次測試中，僅 5 小時便處理完一個月的移動數(shù)據(jù) - 2.8 萬億行信息。相較于先前的測試，速度提升 3.3 倍，而成本則降低 60%。

驚嘆時刻

Dabholkar 表示：“這真是令人驚嘆，因為在 CPU 集群上，僅處理 7 天的數(shù)據(jù)我們就需要耗費超過 48 小時的時間。過去盡管我們擁有數(shù)據(jù)，但卻無法充分利用，因為處理這些數(shù)據(jù)需要很長時間?！?/p>

具體而言，該測試對所謂的 ETL（即提取、轉(zhuǎn)換和加載流程）進行了基準測試，以便篩選出無用數(shù)據(jù)，然后再用篩選后的數(shù)據(jù)訓(xùn)練 AI 模型，發(fā)現(xiàn)全新見解。

他還表示：“目前我們認為 GPU 可用于 ETL 以及我們在 Spark 中執(zhí)行的所有批處理工作負載，因此我們正在探索其他 RAPIDS 庫，將工作從特征工程擴展到 ETL 和機器學(xué)習(xí)?！?/p>

目前 AT&T 在 CPU 服務(wù)器上運行 ETL，然后將數(shù)據(jù)轉(zhuǎn)移至 GPU 服務(wù)器進行訓(xùn)練。他補充道，在單個 GPU 工作流中完成所有工作可以節(jié)省時間和成本。

提高客戶滿意度，加速網(wǎng)絡(luò)設(shè)計

時間和成本的節(jié)省在眾多用例中都有所體現(xiàn)。

例如，用戶可以更快獲取最佳連接，從而提高客戶滿意度并減少客戶流失率。Dabholkar 表示：“我們還能更快確定 5G 信號塔和天線的參數(shù)?！?/p>

負責(zé)監(jiān)督 RAPIDS 測試的團隊高級成員 Chris Vo 表示，要確定在哪些 AT&T 光纖覆蓋區(qū)域推出支持卡車，需要進行耗時的地理空間計算，而 RAPIDS 和 GPU 可以加速這一過程。

Dabholkar 說：“這項技術(shù)給我們帶來極大影響，我們每天可能會收到 300-400TB 的新數(shù)據(jù)，先前需要耗費兩三周以上的時間制作報告，而現(xiàn)在只需幾小時便可完成?！?/p>

三個用例和統(tǒng)計結(jié)果

研究人員正在與 AT&T 數(shù)據(jù)平臺團隊成員分享他們的研究成果。

他說：“如果作業(yè)時間過長，且您擁有大量數(shù)據(jù)，我們建議您開啟 GPU ，并借助 Spark，讓在 CPU 上運行的代碼也可以在 GPU 上運行?！?/p>

目前為止，各個團隊在三個不同的用例中各有收獲；其他團隊也計劃著測試其工作負載。

Dabholkar 樂觀地表示，業(yè)務(wù)部門會將其測試結(jié)果引入生產(chǎn)系統(tǒng)中。

他說：“我們是一家擁有各類數(shù)據(jù)集的電信公司，每天都需要處理 PB 級數(shù)的數(shù)據(jù)，這種方法可以大大節(jié)省我們的時間和成本?！?/p>

此外，包括美國國家稅務(wù)局在內(nèi)的其他企業(yè)用戶也紛紛選擇使用這項技術(shù)?，F(xiàn)有超過 13000 家公司（包括 400 家《財富》500 強公司）使用 Apache Spark，這表明大多數(shù)公司都愿意選擇這種方式。