探討人工智能時代的性能便攜性問題

　　在這個人工智能（AI）和機(jī)器學(xué)習(xí)（ML）成為媒體焦點(diǎn)的時代，高性能計(jì)算（HPC）在幾個層面上往往是一個無名英雄。它是醫(yī)療保健和氣候研究等領(lǐng)域革命性突破性研究背后的驅(qū)動力，也是尖端技術(shù)和計(jì)算技術(shù)的重要試驗(yàn)場。

　　隨著專用硬件在HPC和行業(yè)環(huán)境中變得越來越普遍，性能可移植性已成為一個關(guān)鍵挑戰(zhàn)。性能可移植性使應(yīng)用程序能夠高效運(yùn)行跨各種計(jì)算系統(tǒng)。這不僅對科學(xué)研究至關(guān)重要，對需要快速適應(yīng)新技術(shù)和新環(huán)境的企業(yè)也是如此。對于依賴于性能密集型AI或ML工作負(fù)載的企業(yè)來說，對性能可移植性的需求將變得越來越普遍。在本文中，我們將超越技術(shù)術(shù)語，探討性能可移植性如何改變您的業(yè)務(wù)，在控制成本的同時實(shí)現(xiàn)更快的創(chuàng)新。

　　從一線解決性能便攜性問題

　　在桑迪亞國家實(shí)驗(yàn)室，我們作為R&D的一個單位，共同致力于塑造計(jì)算的未來。我們正在孵化的技術(shù)不僅能滿足國家目標(biāo)的需求，還能推動下一波商業(yè)創(chuàng)新，從人工智能驅(qū)動的分析到實(shí)時金融建模。

　　我個人進(jìn)入這個令人興奮的領(lǐng)域的旅程始于探索分布式系統(tǒng)、虛擬化和容器以及HPC中的能效的興趣。作為R&D的一名經(jīng)理——也是桑迪亞一名經(jīng)驗(yàn)豐富的研究科學(xué)家，是一些最聰明、最敬業(yè)的研究人員之一——我對高級計(jì)算環(huán)境中的挑戰(zhàn)和機(jī)遇有著堅(jiān)實(shí)的優(yōu)勢。我之前對可伸縮系統(tǒng)軟件和虛擬化的研究非常強(qiáng)調(diào)軟件的可移植性。通過這一切，我們的團(tuán)隊(duì)逐漸認(rèn)識到，傳統(tǒng)的“一刀切”策略在當(dāng)今的異構(gòu)計(jì)算環(huán)境中不再適用。進(jìn)化是必要的。

　　什么是性能便攜性？

　　多年來，研究機(jī)構(gòu)和企業(yè)主要依賴通用計(jì)算機(jī)。然而，Dennard擴(kuò)展勢頭的減弱和摩爾定律的限制已經(jīng)促進(jìn)了軟件工作負(fù)載的多樣化和專業(yè)化。反過來，這也重塑了硬件格局。技術(shù)提供商現(xiàn)在提供一系列加速器、CPU、互連等，每一個都是為特定任務(wù)量身定制的。例如，GPU擅長并行數(shù)據(jù)處理，而TPU則面向機(jī)器學(xué)習(xí)任務(wù)。在這個不斷發(fā)展的生態(tài)系統(tǒng)中，重點(diǎn)不僅僅是“性能可移植性”，還包括實(shí)現(xiàn)“跨平臺效率”和“硬件無關(guān)的性能”這些相關(guān)的概念強(qiáng)調(diào)了確保軟件不僅能夠運(yùn)行，而且能夠跨不同的計(jì)算架構(gòu)高效運(yùn)行的重要性。

　　在這個專門的、通常是完全不同的硬件時代，敏捷的軟件方法是必不可少的。傳統(tǒng)上，為新系統(tǒng)定制軟件可能意味著重寫數(shù)百萬行代碼——這是一個既不可持續(xù)又耗費(fèi)時間和人力資源的過程。這就是性能可移植性的用武之地。它允許軟件跨不同的架構(gòu)保持高水平的性能，而不需要大量的重新設(shè)計(jì)。在當(dāng)今復(fù)雜的計(jì)算環(huán)境中，跨平臺效率不僅僅是一個“美好的愿望”；它已經(jīng)成為滿足未來計(jì)算需求的必要條件。

　　性能可移植性的創(chuàng)新：值得關(guān)注

　　對性能可移植性的追求取決于軟件的可重用性，而軟件的可重用性又與我們?nèi)绾螢椴煌挠?jì)算環(huán)境設(shè)計(jì)應(yīng)用程序密切相關(guān)。這先鋒計(jì)劃目前是Sandia在跨不同硬件架構(gòu)的可移植性領(lǐng)域進(jìn)行創(chuàng)新的主要途徑。

　　Vanguard作為Sandia高級架構(gòu)測試平臺的擴(kuò)展而誕生，旨在通過識別和解決硬件和軟件生態(tài)系統(tǒng)中的差距來降低集成未經(jīng)測試的技術(shù)的風(fēng)險。它是一個重要的環(huán)節(jié)，將小規(guī)模、節(jié)點(diǎn)或機(jī)架級測試平臺與準(zhǔn)備部署的大規(guī)模系統(tǒng)連接起來。這個項(xiàng)目不僅僅是測試新興技術(shù)；它直接符合性能可移植性的目標(biāo)。

　　通過評估真實(shí)世界的生產(chǎn)工作負(fù)載，Vanguard使軟件代碼更容易適應(yīng)新的多樣化平臺，確保它們在不同的計(jì)算架構(gòu)中高效運(yùn)行。對于技術(shù)供應(yīng)商，Vanguard還擴(kuò)大了可行技術(shù)選項(xiàng)的范圍，促進(jìn)了競爭，從而推動了硬件無關(guān)性能的進(jìn)步。

　　Sandia Laboratories和能源部（DOE）的其他機(jī)構(gòu)通過類似于可可科斯生態(tài)系統(tǒng)—一套工具，專門用于增強(qiáng)用C++編寫的應(yīng)用程序的跨平臺可移植性?？梢园袺okkos想象成一個通用的翻譯器，確保軟件在與它交互的各種平臺上有效地運(yùn)行。當(dāng)開發(fā)并行程序時，開發(fā)人員面臨著受目標(biāo)體系結(jié)構(gòu)和其他變量影響的過多選擇。Kokkos以模式、策略和空間的形式提供“護(hù)欄”，指導(dǎo)應(yīng)用程序開發(fā)團(tuán)隊(duì)創(chuàng)建算法。借助Kokkos Core，這些算法和數(shù)據(jù)結(jié)構(gòu)可以自動映射到不同的架構(gòu)——無論是基于CPU的系統(tǒng)、帶有OpenMP后端的平臺，還是圍繞NVIDIA或AMD GPUs構(gòu)建的硬件，甚至是定制的加速器。從本質(zhì)上講，Kokkos有助于標(biāo)準(zhǔn)化良好的編碼實(shí)踐，可以很容易地適應(yīng)不同的架構(gòu)。

　　在桑迪亞先鋒計(jì)劃的大框架內(nèi)，我們采用各種專業(yè)工具來實(shí)現(xiàn)我們的目標(biāo)。另一個非常有用的工具是容器，它已經(jīng)成為簡化移植過程的無價資源。即使是簡單的代碼過渡到新的架構(gòu)也會消耗大量的時間和資源。容器通過允許創(chuàng)建“清單”來幫助減輕這種負(fù)擔(dān)，清單是一組包含優(yōu)化應(yīng)用程序所需的關(guān)鍵步驟和特定庫版本的指令。這不僅節(jié)省了時間和財務(wù)資源，而且使其他團(tuán)隊(duì)能夠利用現(xiàn)有的專業(yè)知識，加快他們的進(jìn)度，減少試錯階段。這些工具作為Vanguard戰(zhàn)略任務(wù)中的戰(zhàn)術(shù)解決方案，確保在多種計(jì)算架構(gòu)中高效部署應(yīng)用。

　　在大規(guī)模計(jì)算環(huán)境的復(fù)雜性中，不可否認(rèn)的是，當(dāng)協(xié)作是無縫的時，團(tuán)隊(duì)會茁壯成長；我們使用和評估這些工具的很大一部分目標(biāo)是促進(jìn)團(tuán)隊(duì)合作的力量。這成為我們努力的基石，因?yàn)榧w努力的力量為開辟新的創(chuàng)新途徑鋪平了道路。

　　取得的進(jìn)展，前面的機(jī)遇

　　雖然我們在性能可移植性方面取得了長足的進(jìn)步，但我們認(rèn)為未來的道路充滿了創(chuàng)新的機(jī)會。有了一個敬業(yè)且技術(shù)高超的工程團(tuán)隊(duì)，移植到新架構(gòu)的任務(wù)為我們的團(tuán)隊(duì)提供了一個令人興奮的挑戰(zhàn)，讓我們不斷參與，推動創(chuàng)新的邊界，并培養(yǎng)持續(xù)學(xué)習(xí)和改進(jìn)的文化。在桑迪亞，我們正在組建專家團(tuán)隊(duì)，進(jìn)行有針對性的努力，不僅為我們，也為整個行業(yè)創(chuàng)造令人興奮的增長機(jī)會。這些挑戰(zhàn)提供了合作的機(jī)會，因?yàn)镾andia積極地與工業(yè)界、政府和學(xué)術(shù)界合作，共同開拓新的解決方案。

　　因此，我們并不孤單。性能可移植性的挑戰(zhàn)是普遍的，對HPC和業(yè)務(wù)部門都有影響。隨著行業(yè)的發(fā)展，適應(yīng)性軟件的重要性只會增加。通過對性能可移植性的投資，科學(xué)研究和企業(yè)都將受益，使未來的技術(shù)遷移更高效、成本更低。在桑迪亞，我們正在積極考慮如何與更廣泛的行業(yè)分享我們的經(jīng)驗(yàn)和方法。

　　SC23：進(jìn)步的論壇

　　HPC社區(qū)聚集在一起討論這些挑戰(zhàn)并共同探索解決方案的地方之一是SC會議今年將于11月12日至17日在科羅拉多州丹佛市舉行。SC會議不僅僅是一次HPC聚會；這是一個來自不同領(lǐng)域的思想的會議，專注于解決普遍的計(jì)算挑戰(zhàn)。在這里，我們不僅討論了HPC的未來，還討論了它與業(yè)務(wù)創(chuàng)新和敏捷性的直接相關(guān)性。像這樣的活動是促進(jìn)合作伙伴關(guān)系的平臺，展示了Sandia應(yīng)對全行業(yè)計(jì)算挑戰(zhàn)的協(xié)作方法。

　　就我個人而言，我在SC會議上投入了大量時間，挖掘最新的行業(yè)趨勢并跟蹤創(chuàng)新，這些創(chuàng)新可以極大地幫助我們在Sandia及其他地方的使命。今年在SC23上，我是CANOPIE高性能計(jì)算研討會，重點(diǎn)關(guān)注支持HPC的尖端容器技術(shù)、虛擬化和操作系統(tǒng)軟件。

　　鑒于其在提高企業(yè)敏捷性和幫助控制成本方面的潛力，性能可移植性應(yīng)該成為每一位技術(shù)領(lǐng)導(dǎo)者或業(yè)務(wù)決策者關(guān)注的焦點(diǎn)，他們負(fù)責(zé)監(jiān)管需要利用尖端硬件的性能密集型應(yīng)用。

　　我鼓勵您在SC23上加入我們，成為這場重要對話的一部分，這場對話不僅將塑造計(jì)算的未來，還將塑造您的企業(yè)在日益復(fù)雜和動態(tài)的環(huán)境中的競爭力。性能可移植性的必要性是科學(xué)界和商業(yè)界團(tuán)結(jié)起來推動未來計(jì)算能力的戰(zhàn)斗口號。

　　審核編輯：黃飛