常見的液體冷卻方式有哪些 數(shù)據(jù)中心浸沒式液冷技術(shù)優(yōu)勢分析

隨著人工智能?物聯(lián)網(wǎng)?加密貨幣?AR/VR等計算密集型應用的快速發(fā)展，日益增長的計算需求使數(shù)據(jù)中心逐漸向“高性能?高密度?高能耗”發(fā)展?國家能源局數(shù)據(jù)顯示，2020年我國數(shù)據(jù)中心耗電量突破2000億千瓦時，占全國總用電量的2.7%?數(shù)據(jù)中心的能耗大致由通信及網(wǎng)絡設(shè)備?供電配電系統(tǒng)?照明及輔助設(shè)備和冷卻系統(tǒng)組成，其中冷卻部分的能耗約占數(shù)據(jù)中心總能耗的40%左右?提高數(shù)據(jù)中心冷卻系統(tǒng)效率，降低能耗對實現(xiàn)“雙碳”目標至關(guān)重要?

常見的液體冷卻方式包括冷板式?噴淋式和浸沒式三種?其中，浸沒式液冷傳熱效率最高且能避免局部熱點，是目前最有可能解決高性能計算環(huán)境中散熱系統(tǒng)所面臨各種問題的技術(shù)手段?本文將圍繞浸沒式液冷技術(shù)，對該技術(shù)的技術(shù)優(yōu)勢?實現(xiàn)方案?商業(yè)化進展和應用現(xiàn)狀以及未來發(fā)展面臨的問題和挑戰(zhàn)進行介紹?

浸沒式液冷技術(shù)的優(yōu)勢

作為助推下一代大數(shù)據(jù)中心全新發(fā)展的引擎，浸沒式液冷技術(shù)的優(yōu)勢主要體現(xiàn)在以下幾個方面：

1 更高的能源利用率

浸沒式液冷使用冷卻液作為熱傳輸媒介，液體具有更高的導熱率和比熱容，因此可以更快地傳導以及更有效地吸收熱量?同時，因為減少了風扇和空調(diào)的使用，采用浸沒式液冷技術(shù)的數(shù)據(jù)中心具有更低的PUE?根據(jù)UptimeInstitute的調(diào)查數(shù)據(jù)，2021年全球大型數(shù)據(jù)中心平均PUE為1.57，其中采用傳統(tǒng)風冷技術(shù)的數(shù)據(jù)中心PUE一般在1.8左右，而采用液冷技術(shù)的數(shù)據(jù)中心，無論項目的規(guī)模大小?所處的維度及氣候區(qū)，幾乎都可以將PUE控制在1.1以內(nèi)?

2 更高的功率密度

浸沒式液冷可以大幅提高數(shù)據(jù)中心單位空間的服務器密度，從而更好地支持高密度計算?傳統(tǒng)數(shù)據(jù)中心采用空氣冷卻系統(tǒng)，可冷卻的機架功率密度通常為10kW-15kW，而浸沒式液冷可以將單機架功率提升到100kW甚至200kW以上，因此完全可以滿足高密度計算場景對散熱的需求?

3 更高的設(shè)備可靠性

美國空軍航空電子整體研究項目（USAirForceAvionicsIntegrityProgram）認為，溫度?振動?濕度和粉塵是造成電子設(shè)備故障的主要因素?

浸沒式液冷可使IT設(shè)備始終工作在適宜的溫度，浸沒環(huán)境有效避免了濕度（空氣中的水會造成元器件的銹蝕，而冷卻液可以保護設(shè)備）?灰塵等對設(shè)備的不良影響?此外，因服務器和機房不再需要風扇，從而有效解決了噪音和振動問題?

4 更高的空間利用率

浸沒式液冷優(yōu)異的散熱性能使服務器可以緊密排列，無需隔開距離，同時無需配置風扇，機房內(nèi)也不需要空調(diào)和冷凍機組，無需安裝冷熱通道封閉設(shè)施，更不需要架空地板，因此浸沒式液冷比傳統(tǒng)冷卻方案具有更高的空間利用率?

5 更節(jié)省用水

一項關(guān)于數(shù)據(jù)中心用水量的研究指出，全美數(shù)據(jù)中心每天的用水量高達17億升，而這其中55%為可飲用水?巨大的用水量不僅增加了運營成本，在對水資源使用量有限制的地區(qū)還將面臨監(jiān)管壓力?傳統(tǒng)的空氣冷卻技術(shù)通常需要使用大量的水進行蒸發(fā)降溫?浸沒式液冷技術(shù)的冷卻液可以在較高溫度下工作（可達45℃），即使在較熱的氣候條件下，仍可有效利用自然冷卻，減少了對主動排熱設(shè)備的需求，因此更節(jié)水?

浸沒式液冷的實現(xiàn)方案

浸沒式液冷將IT設(shè)備直接浸泡在冷卻液中，依靠冷卻液吸收設(shè)備產(chǎn)生的熱量?按照冷卻液在循環(huán)散熱過程中是否發(fā)生相變，可以分為單相浸沒式液冷和雙相浸沒式液冷?

1 單相浸沒式液冷

在單相浸沒式液冷系統(tǒng)中，IT設(shè)備所有的發(fā)熱組件都完全浸沒在循環(huán)的不導電的冷卻液中，設(shè)備發(fā)出的熱量直接傳遞給冷卻液?單相浸沒式液冷的冷卻液通常具有較高的沸點，冷卻液吸熱后并不會發(fā)生相變，始終維持在液態(tài)?

單相浸沒式液冷通過自然對流或泵驅(qū)動冷卻液的循環(huán)?自然對流驅(qū)動的循環(huán)散熱過程，利用了液體受熱后體積膨脹密度減小的特點，較熱的冷卻液會自然上浮，之后被連接到外部冷卻回路的熱交換器冷卻?冷卻后的液體在重力的作用下自然下沉，完成循環(huán)散熱?

與自然對流相比，用泵驅(qū)動循環(huán)冷卻液的方式可以更有效的提高冷卻能力?由泵?熱交換器?傳感器?過濾器組成的裝置被稱為冷卻液分配單元（CDU，），利用CDU可以更加精確地控制冷卻液的溫度和流速?較冷的冷卻液在泵的驅(qū)動下流經(jīng)發(fā)熱元件，將熱量帶走?被加熱的冷卻液在泵的驅(qū)動下進入熱交換器被降溫，之后在泵的作用下繼續(xù)循環(huán)?熱交換器一般用水作為冷卻介質(zhì)，熱量最終通過循環(huán)冷卻水系統(tǒng)排出?

單相浸沒式液冷的工作原理如圖所示?

單相浸沒式液冷通常選擇沸點較高的冷卻液，以確保冷卻液在循環(huán)散熱過程中始終保持液態(tài)?氟碳化合物和碳氫化合物（例如礦物油?合成油?天然油）均可用于單相浸沒式液冷?目前3M和Shell等企業(yè)都在生產(chǎn)用于單相浸沒式液冷技術(shù)的冷卻液，不同的是3M的冷卻液為氟化液，而Shell的冷卻液為天然氣制成的合成油，屬于碳氫化合物?部分適用于單相浸沒式液冷的冷卻液主要參數(shù)如表1所示?

單相浸沒式液冷的優(yōu)勢體現(xiàn)在兩個方面，一是冷卻液價格相對更低，部署成本更低;二是冷卻液無相變，無需擔心冷卻液蒸發(fā)溢出或人員吸入的健康風險，更有利于維護?

2 雙相浸沒式液冷

在雙相浸沒式液冷中，冷卻液在循環(huán)散熱過程中不斷經(jīng)歷從液態(tài)到氣態(tài)再從氣態(tài)回到液態(tài)的相變過程?IT設(shè)備完全浸沒在裝有低沸點冷卻液的密閉罐體中，設(shè)備發(fā)出的熱量被冷卻液吸收，冷卻液吸熱后溫度升高，達到沸點后開始沸騰，由液態(tài)相變?yōu)闅鈶B(tài)，同時產(chǎn)生大量的蒸汽?蒸汽從液體中升起逃逸至液面上方，在液冷罐體內(nèi)形成氣相區(qū)?氣相區(qū)的冷卻液蒸汽與水冷冷凝器接觸，熱量被冷凝器吸收，冷卻液凝結(jié)成液體以液滴的形式落回容器中再次循環(huán)，而冷凝器中被加熱的冷卻水則通過循環(huán)冷卻水系統(tǒng)完成排熱?

雙相浸沒式液冷的工作原理如圖3所示：

為了能有效利用冷卻液的相變過程，并控制IT設(shè)備的溫度，用于雙相浸沒式液冷的冷卻液不僅要有良好的熱物理性能?化學及熱穩(wěn)定性?無腐蝕性，還需要合適的沸點?比較窄的沸程范圍以及較高的汽化潛熱?硅酸酯類?芳香族物質(zhì)?有機硅?脂肪族化合物及氟碳化合物等都被嘗試應用于雙相浸沒式液冷?其中，氟碳類化合物綜合性能最好，因此較為常用?目前，3M公司是全球生產(chǎn)浸沒式電子氟化液的領(lǐng)先企業(yè)，其生產(chǎn)的Fluorinert電子氟化液與Novec電子工程液均有不同型號可以用于雙相浸沒式液冷?兩者均有優(yōu)良的熱穩(wěn)定性和化學穩(wěn)定性?無味?不可燃?非油基?低毒性?無腐蝕性，可為數(shù)據(jù)中心提供可信賴且可持續(xù)的解決方案?

部分適用于雙相浸沒式液冷的冷卻液主要參數(shù)如表2所示?

雙相浸沒式液冷充分利用了冷卻液的蒸發(fā)潛熱，可以滿足高功率發(fā)熱元件對散熱的極端要求，使IT設(shè)備可以保持滿功率運行?但相變的存在也使得雙相浸沒式液冷系統(tǒng)必須保持密閉，以防止蒸汽外溢流失，同時必須考慮相變過程導致的氣壓變化，以及系統(tǒng)維護時維護人員吸入氣體的健康風險?

商業(yè)化和應用案例

近年來，浸沒式液冷相關(guān)技術(shù)日趨成熟，國內(nèi)外已有多家企業(yè)開始面向客戶提供針對不同散熱需求下的浸沒式液冷技術(shù)解決方案，一些科技公司也已開始將基于浸沒式液冷的散熱系統(tǒng)實際部署在他們的數(shù)據(jù)中心?

阿里云作為國內(nèi)市場占有率第一的云服務提供商，是最早探索和實踐大規(guī)模液冷方案的科技公司之一?2020年1月，阿里云宣布向全社會開放“浸沒液冷數(shù)據(jù)中心技術(shù)規(guī)范”，2020年9月，仁和數(shù)據(jù)中心開服，PUE設(shè)計值1.09，相比傳統(tǒng)風冷數(shù)據(jù)中心每年可節(jié)省3000萬度電;2021年12月，阿里云發(fā)布磐久系列液冷一體機ImmersionDC1000，整體能耗可下降34.6%?

與阿里云采用單相浸沒式液冷技術(shù)路線不同，微軟對雙相浸沒式液冷技術(shù)進行了測試?2021年4月，微軟發(fā)布消息稱其使用自研的冷卻液，在位于華盛頓州昆西市的Azure數(shù)據(jù)中心采用了雙相浸沒式冷卻技術(shù)，據(jù)微軟發(fā)布的消息，雙相浸沒式液冷可以將服務器的功耗降低5%到15%?

在浸沒式液冷解決方案的供給端，國內(nèi)外均有企業(yè)在積極布局?例如，總部位于美國的GreenRevolutionCooling主要提供數(shù)據(jù)中心單相浸沒式液冷解決方案，面向高性能計算?邊緣數(shù)據(jù)中心?區(qū)塊鏈和加密貨幣等場景提供具有完整冷卻和電力基礎(chǔ)設(shè)施的一站式模塊化數(shù)據(jù)中心;總部位于荷蘭的Asperitas采用自然對流驅(qū)動的單相浸沒式液冷技術(shù)，其HPCzone系列產(chǎn)品可為各種高性能計算場景提供一站式解決方案?在國內(nèi)，浪潮信息于2018年推出了小型可移動的浸沒式液冷超算TS4220LC;中科曙光旗下的曙光數(shù)創(chuàng)推出了相變浸沒式液冷配套解決方案C8000，聲稱能夠?qū)UE值降到1.05以下?

面臨的問題與挑戰(zhàn)

根據(jù)MordorIntelligence的報告，2020年全球數(shù)據(jù)中心浸沒式液冷市場的整體規(guī)模為2.97億美元，預計到2026年將達到7.03億美元，期間復合年增長率為15.27%?盡管預期增速較快，但現(xiàn)階段在推動數(shù)據(jù)中心快速擁抱浸沒式液冷技術(shù)的進程中，仍面臨不少阻礙和挑戰(zhàn)?包括：

1 應用場景限制

UptimeInstitute的調(diào)查顯示，2020年全球數(shù)據(jù)中心的平均功率密度僅為8.4kW/r，其中只有3%的數(shù)據(jù)中心的功率密度超過50kW/r?因此，盡管浸沒式液冷技術(shù)的散熱性能極佳，但除了加密數(shù)字貨幣挖礦等特定場景外，常規(guī)數(shù)據(jù)中心將傳統(tǒng)散熱方案升級為浸沒式液冷的需求并不強烈?此外，浸沒式液冷的能效水平在低負載場景下可能會被削弱，嚴遜等人搭建了浸沒式液冷實驗臺，利用假負載測試得到不同室外溫度?不同負載功率下的pPUE（局部PUE）在1.05-1.28之間，同時發(fā)現(xiàn)pPUE隨著負載上升而降低?

2 設(shè)備供應商支持

因為浸沒式液冷技術(shù)使用液體散熱，為了能夠與冷卻液相容，硬件設(shè)備通常需要適當調(diào)整以適應浸沒式冷卻?雖然當前部分OEM已支持適用于浸沒式液冷的設(shè)備，但仍有不少設(shè)備制造商尚未針對浸沒式液冷進行設(shè)計或測試?這些OEM可能會取消或停止按照以往服務協(xié)議對這些應用于浸沒式的設(shè)備提供質(zhì)保和長期維護服務?

3 部署和改造成本

在計算浸沒式液冷系統(tǒng)的部署成本時，需要綜合考慮所有實際支出?不僅包含液冷設(shè)備罐體和冷卻液的價格以及后續(xù)的維護成本，還包括泵?換熱器?過濾器?傳感器等一系列用來滿足液冷系統(tǒng)設(shè)計實踐的其它設(shè)施的改造和維護成本?尤其是對于那些已按照風冷系統(tǒng)建設(shè)完成的數(shù)據(jù)中心來說，改造成本往往是巨大的?上述問題能否以及以何種方式解決，將成為決定未來浸沒式液冷技術(shù)能否快速和規(guī)?；渴鸬年P(guān)鍵?

編輯：黃飛