綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)的研究現(xiàn)狀及發(fā)展趨勢

關(guān)鍵詞：數(shù)據(jù)中心；綠色節(jié)能；散熱冷卻；液體冷卻

導(dǎo)語：數(shù)據(jù)中心是我國的重要基礎(chǔ)設(shè)施之一，行業(yè)規(guī)模不斷擴大，市場收入逐年增加，用電量與日俱增。我國當(dāng)前投入運行的數(shù)據(jù)中心中，散熱冷卻系統(tǒng)以風(fēng)冷為主，能量利用率低，節(jié)能潛力大，發(fā)展新型綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)勢在必行。散熱冷卻技術(shù)需解決兩個問題，一是設(shè)備發(fā)熱量增加，散熱冷卻系統(tǒng)制冷能力需相應(yīng)提高來實現(xiàn)產(chǎn)熱與移熱速率匹配；二是能源利用效率偏低，需發(fā)展具有工業(yè)應(yīng)用前景的綠色高能效散熱冷卻技術(shù)。本文簡要概述了數(shù)據(jù)中心散熱冷卻方式的發(fā)展現(xiàn)狀，將散熱冷卻技術(shù)分為空調(diào)制冷、新風(fēng)制冷、間接液冷、直接單相液冷、直接兩相液冷五類；分析了散熱冷卻技術(shù)的發(fā)展趨勢，新型綠色高能效數(shù)據(jù)中心應(yīng)注重散熱冷卻系統(tǒng)效率提升、冷熱流體通道優(yōu)化、新型液冷材料應(yīng)用、熱回收系統(tǒng)推廣等；根據(jù)“雙碳”及“新基建”等國家發(fā)展戰(zhàn)略，從優(yōu)化頂層設(shè)計、突破關(guān)鍵技術(shù)、制定科學(xué)標(biāo)準、完善產(chǎn)業(yè)布局、注重能源結(jié)構(gòu)等方面為實現(xiàn)數(shù)據(jù)中心產(chǎn)業(yè)平穩(wěn)有序發(fā)展提出了合理化建議。

01

前言

數(shù)據(jù)是國家基礎(chǔ)戰(zhàn)略性資源和重要生產(chǎn)要素。21世紀以來信息技術(shù)（IT）飛速發(fā)展，物聯(lián)網(wǎng)等大數(shù)據(jù)時代應(yīng)用飛速崛起，負責(zé)計算、存儲、數(shù)據(jù)信息交互的數(shù)據(jù)中心重要性日益凸顯。作為我國“新型基礎(chǔ)設(shè)施建設(shè)”戰(zhàn)略、“互聯(lián)網(wǎng)+”戰(zhàn)略的重要載體，數(shù)據(jù)中心是我國進行產(chǎn)業(yè)數(shù)字化、生活智能化、服務(wù)信息化轉(zhuǎn)型的重要基石，可支撐我國未來經(jīng)濟社會高質(zhì)量發(fā)展。數(shù)據(jù)中心產(chǎn)業(yè)受到世界各國重視，市場規(guī)模逐年增加，投資及并購活躍，競爭激烈。2021年全球數(shù)據(jù)中心市場規(guī)模超679億美元，預(yù)計 2022 年將達 746 億美元，年增速在 10% 左右。我國重視數(shù)據(jù)中心行業(yè)發(fā)展，大型 / 超大型數(shù)據(jù)中心發(fā)展加速，行業(yè)收入提高。圖1所示為我國數(shù)據(jù)中心機架規(guī)模及其變化圖，2021年達到5.2×106架，五年年均復(fù)合增速超30%，其中大型數(shù)據(jù)中心的機架規(guī)模達到 4.2×106架，占總機架數(shù)的80%。2021年我國數(shù)據(jù)中心行業(yè)收入達到近 1500.2 億元，是2017 年市場收入的近 3 倍，年均增長率近 30%。

圖1我國數(shù)據(jù)中心機架規(guī)模及其變化圖我國產(chǎn)業(yè)現(xiàn)代化建設(shè)不斷推進，催生大量數(shù)據(jù)中心算力需求，市場前景廣闊。電商、金融、通信等數(shù)字化程度較高的產(chǎn)業(yè)擴大用戶市場，對數(shù)據(jù)中心產(chǎn)業(yè)需求持續(xù)增加；傳統(tǒng)工業(yè)等行業(yè)也在積極進行數(shù)字化轉(zhuǎn)型升級，優(yōu)化產(chǎn)業(yè)結(jié)構(gòu)，對于數(shù)據(jù)中心行業(yè)產(chǎn)生新的需求增長點。隨著時間推移和產(chǎn)業(yè)信息化發(fā)展，數(shù)據(jù)中心產(chǎn)業(yè)與各行各業(yè)的聯(lián)系會日益密切，最終成為支柱型基礎(chǔ)設(shè)施產(chǎn)業(yè)之一。我國數(shù)據(jù)中心在經(jīng)歷產(chǎn)業(yè)萌芽期和行業(yè)引導(dǎo)期后，目前已進入高速高質(zhì)量發(fā)展的新階段，伴隨數(shù)據(jù)中心計算業(yè)務(wù)量爆發(fā)式增長，傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)越來越難以提供支持云計算、邊緣計算等所需的延遲，為更好承載數(shù)據(jù)處理需求，充分發(fā)揮數(shù)據(jù)中心的規(guī)模效益，降低業(yè)務(wù)部署成本和維護成本，大規(guī)模及超大規(guī)模數(shù)據(jù)中心已成為新建數(shù)據(jù)中心的首選。隨著數(shù)據(jù)中心規(guī)模擴大，算力和功率密度節(jié)節(jié)攀升，支撐IT設(shè)備運行的能耗也相應(yīng)飛速提高。

與數(shù)據(jù)運算、存儲、交換高能耗相伴的是設(shè)備巨大的產(chǎn)熱量，IT設(shè)備將99%以上的電能轉(zhuǎn)換為熱能，而其中 70% 的熱能需數(shù)據(jù)中心通過散熱冷卻系統(tǒng)移除，進一步增加了數(shù)據(jù)中心的用電消耗。圖2所示為近年來我國數(shù)據(jù)中心用電消耗情況。近五年來，我國數(shù)據(jù)中心耗電量保持 15% 以上的增長率，2020 年耗電量突破 2×1011kW·h，占全國總用電量綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)研究現(xiàn)狀及發(fā)展趨勢的 2.7%，折合二氧化碳排放量 2×108t（以燃煤發(fā)電折算）。

圖2我國數(shù)據(jù)中心用電消耗情況作為輔助單元，散熱冷卻系統(tǒng)在大型數(shù)據(jù)中心的電能消耗與 IT 設(shè)備電耗基本相當(dāng)。由此可見，數(shù)據(jù)中心的散熱冷卻系統(tǒng)具有極大的節(jié)能潛力。數(shù)據(jù)中心散熱冷卻技術(shù)的突破創(chuàng)新，是實現(xiàn)全行業(yè)綠色低碳發(fā)展的關(guān)鍵。本文從數(shù)據(jù)中心高能耗和散熱冷卻難兩方面亟待解決的問題出發(fā)，綜述了已經(jīng)發(fā)展和應(yīng)用的各種數(shù)據(jù)中心散熱冷卻方式，闡述了各方式的原理和特點，總結(jié)了數(shù)據(jù)中心行業(yè)散熱冷卻方式發(fā)展趨勢并針對數(shù)據(jù)中心綠色高能效發(fā)展目標(biāo)提出了建議。

02

數(shù)據(jù)中心散熱冷卻技術(shù)需求分析

數(shù)據(jù)中心面臨能耗高和散熱冷卻難兩大問題。依托區(qū)域能源供應(yīng)優(yōu)勢和自然環(huán)境優(yōu)勢可降低數(shù)據(jù)中心的用電和散熱冷卻成本。因此，合理利用“東數(shù)西算”布局思路，將大型數(shù)據(jù)中心建設(shè)在我國能源充足、溫濕度較低的西北部和西南部地區(qū)，可充分利用自然環(huán)境優(yōu)勢，降低數(shù)據(jù)中心的運行成本。但存在數(shù)據(jù)傳輸距離遠的高網(wǎng)絡(luò)延遲問題，難以滿足高精度導(dǎo)航、在線控制等邊緣計算需求。在我國人口稠密，經(jīng)濟發(fā)達的東部地區(qū)布局數(shù)據(jù)中心仍是現(xiàn)實需求。在能源供應(yīng)緊張、自然環(huán)境不利等現(xiàn)實條件下，破解散熱難與高能耗瓶頸，發(fā)展綠色高能效數(shù)據(jù)中心成為行業(yè)共識。綠色高能效數(shù)據(jù)中心需同時實現(xiàn)產(chǎn)熱移熱速率匹配及能源利用效率提升兩個目標(biāo)，發(fā)展和應(yīng)用新型散熱冷卻技術(shù)成為未來我國數(shù)據(jù)中心高能效綠色化運行的重中之重。

（一）IT 設(shè)備發(fā)熱量增大，散熱冷卻系統(tǒng)移熱速率亟需與產(chǎn)熱速率匹配數(shù)據(jù)中心連續(xù)穩(wěn)定運行是基本目標(biāo)，實現(xiàn)該目標(biāo)的關(guān)鍵問題是產(chǎn)熱與移熱速率相匹配。隨著單位服務(wù)器機柜包含的服務(wù)器數(shù)量增多，機柜發(fā)熱量與日俱增，對散熱冷卻系統(tǒng)的要求不斷提高。產(chǎn)熱速率可用機柜功率密度衡量，其定義是單個機柜穩(wěn)定運行所消耗的能量值（單位為 kW/r，r 表示單個機柜）。機柜功率密度越高代表產(chǎn)熱量越大，要求散熱冷卻系統(tǒng)移熱速率越高。數(shù)據(jù)中心服務(wù)器機柜功率從低密度向高密度發(fā)展是必然趨勢。低功率密度機柜在5 kW/r以下，中功率密度機柜為5~10 kW/r，高功率密度機柜為 10 kW/r 以上。目前已投用的數(shù)據(jù)中心機柜功率密度在 5~10 kW/r 居多，已有一些在用的超大型數(shù)據(jù)中心機柜功率密度在 30 kW/r 以上，甚至達100 kW/r左右，這對于傳統(tǒng)散熱冷卻技術(shù)是極大的挑戰(zhàn)。如圖3所示，目前發(fā)展的散熱冷卻技術(shù)主要有風(fēng)冷和液冷兩大類，其中風(fēng)冷包括自然風(fēng)冷和強制風(fēng)冷，適用的機柜功率密度較低；液冷分為單相液冷和相變液冷。散熱冷卻系統(tǒng)所采用的冷卻介質(zhì)、冷卻方式不同，移熱速率差距大。傳統(tǒng)風(fēng)冷最高可冷卻30 kW/r的機柜，對于30 kW/r以上功率密度的機柜無法做到產(chǎn)熱與移熱速率匹配，會使機柜溫度不斷升高導(dǎo)致算力下降甚至損害設(shè)備。因此，在機柜功率密度不斷提高的大數(shù)據(jù)時代，要求散熱冷卻設(shè)備及方式的不斷創(chuàng)新，提升移熱速率。

圖3冷卻類型圖（二）能源利用效率偏低，需發(fā)展綠色高能效散熱冷卻技術(shù)散熱冷卻需要消耗能量，移熱速率的增大勢必需考慮能源利用效率問題。衡量數(shù)據(jù)中心總體能耗水平的指標(biāo)為能源利用效率（PUE），定義為數(shù)據(jù)中心總能耗與信息技術(shù)設(shè)備能耗的比值。在相同IT功耗下，PUE 值越接近 1，表明其非 IT 功耗越低，能源利用率越高。如圖4 所示，數(shù)據(jù)中心的總能耗由供配電、照明、散熱冷卻和 IT 設(shè)備功耗等構(gòu)成。如圖5 所示，當(dāng)前，我國數(shù)據(jù)中心能量消耗中的43% 用于散熱冷卻（對應(yīng)數(shù)據(jù)中心 PUE 值大于 2），冷卻成本高，節(jié)能潛力大。

圖4數(shù)據(jù)中心能源消耗組成示意圖

圖5我國數(shù)據(jù)中心能耗分布示意圖為提高我國數(shù)據(jù)中心的能效水平，促進信息行業(yè)綠色發(fā)展，工業(yè)和信息化部發(fā)布《新型數(shù)據(jù)中心發(fā)展三年行動計劃（2021—2023 年）》，要求新建大型及以上數(shù)據(jù)中心 PUE 降低到 1.3 以下。國家發(fā)展和改革委員會等發(fā)布《關(guān)于嚴格能效約束推動重點領(lǐng)域節(jié)能降碳的若干意見》，明確鼓勵重點行業(yè)利用綠色數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施實現(xiàn)節(jié)能降耗，本著“就高不就低”的原則，以國內(nèi)外先進綠色數(shù)據(jù)中心能效水平為技術(shù)改造目標(biāo)方向，到 2025 年數(shù)據(jù)中心PUE普遍不超過1.5。

03

風(fēng)冷技術(shù)發(fā)展現(xiàn)狀

風(fēng)冷是將冷空氣送至IT設(shè)備進行換熱的冷卻方式，在信息技術(shù)產(chǎn)業(yè)起步階段起到巨大作用。當(dāng)時未明確數(shù)據(jù)中心概念，普遍被稱為計算機房或計算機中心，業(yè)務(wù)少、規(guī)模小，計算機的數(shù)據(jù)處理能力低，機柜功率在1~2 kW/r，風(fēng)冷是當(dāng)時最適合小微型數(shù)據(jù)中心的冷卻方式。當(dāng)高功率密度的大型數(shù)據(jù)中心逐步成為主流后，風(fēng)冷方式仍可滿足機柜功率密度在 30 kW/r 以下服務(wù)器移熱要求，但其能源利用效率普遍較低，不符合信息行業(yè)綠色發(fā)展要求。根據(jù)空氣流動的動力源，可將風(fēng)冷分為自然風(fēng)冷和強制風(fēng)冷。自然風(fēng)冷是利用空氣密度隨溫度的變化產(chǎn)生空氣循環(huán)，帶走 IT 設(shè)備熱量的冷卻方式。IT 設(shè)備附近的空氣受熱，溫度升高導(dǎo)致密度減小，熱空氣向數(shù)據(jù)中心上部流動，產(chǎn)生壓差使冷空氣向IT設(shè)備自然流動。自然風(fēng)冷空氣流速小，對流傳熱不明顯，制冷效果差，能量利用效率低，是已淘汰的冷卻方式。強制風(fēng)冷是利用風(fēng)機將冷空氣進行強制流動，吹向IT設(shè)備進行冷卻的技術(shù)方法，是當(dāng)前數(shù)據(jù)中心采用的最廣泛的冷卻方式。該方法可通過增加IT設(shè)備散熱面積或加快空氣流動速率來實現(xiàn)良好的冷卻性能。研究表明，采用合理的氣流組織、智能通風(fēng)、精確送風(fēng)、智能換熱、蓄冷空調(diào)、空調(diào)添加劑以及空調(diào)壓縮機冷媒控制等技術(shù)，可降低強制風(fēng)冷數(shù)據(jù)中心20%左右能耗。強制風(fēng)冷按照空氣來源的不同，目前主要包括空調(diào)制冷和新風(fēng)制冷兩種方式。（一）空調(diào)制冷空調(diào)制冷是以空調(diào)來冷卻數(shù)據(jù)中心內(nèi)部空氣的冷卻方式，由于空調(diào)系統(tǒng)耗能較高，采用該散熱冷卻方式的數(shù)據(jù)中心PUE一般在1.7以上。空調(diào)制冷適配性好，維護方便，技術(shù)成熟，穩(wěn)定性高。但冷卻效率較低，只能冷卻中小功率的IT設(shè)備，無法滿足未來中大型數(shù)據(jù)中心的冷卻要求。（二）新風(fēng)制冷新風(fēng)制冷是指用數(shù)據(jù)機房外部空氣（新風(fēng)）作為冷卻介質(zhì)的冷卻方式。當(dāng)數(shù)據(jù)中心內(nèi)部溫度高于外部環(huán)境時，可以直接將外部冷空氣通過風(fēng)機輸送進數(shù)據(jù)中心，再將升溫后的空氣通過通道排至室外，采用該方式可比空調(diào)制冷節(jié)能40%，但對空氣質(zhì)量條件敏感，需添加灰塵過濾系統(tǒng)和增加除濕系統(tǒng)來調(diào)控空氣質(zhì)量。雅虎位于紐約洛克波特的數(shù)據(jù)中心、Facebook 位于俄勒岡州的普林維爾數(shù)據(jù)中心等均采用新風(fēng)的方式冷卻，PUE可降低至 1.2 以下。當(dāng)前新風(fēng)制冷技術(shù)發(fā)展迅速，如設(shè)計分布式氣流冷卻系統(tǒng)（DACS）和吹吸通風(fēng)冷卻系統(tǒng)（BDVCS）可實現(xiàn)數(shù)據(jù)中心全年無空調(diào)設(shè)備的溫度控制。新風(fēng)制冷數(shù)據(jù)中心對環(huán)境要求高，在全年平均氣溫低的溫帶或寒帶地區(qū)，使用新風(fēng)制冷方式能節(jié)約大量制冷成本。

04

液冷技術(shù)發(fā)展現(xiàn)狀

風(fēng)冷技術(shù)使用的冷卻介質(zhì)為空氣，其熱導(dǎo)率低，而液體的熱導(dǎo)率較氣體可提高一個數(shù)量級，理論上可將傳熱速率極大提高，可滿足高功率密度機柜的散熱冷卻要求。2021年我國數(shù)據(jù)中心市場收入中，液冷數(shù)據(jù)中心市場收入已達 450 億~500 億元，占比30%以上，發(fā)展空間大。國內(nèi)外在數(shù)據(jù)中心液冷方面已有一定研究基礎(chǔ)并已取得了突破性進展，正成為變革性技術(shù)。液冷技術(shù)根據(jù)液體與IT設(shè)備接觸狀態(tài)，可以分為間接液冷、直接單相液冷和直接兩相液冷三類。（一）間接液冷間接液冷是指液體與發(fā)熱部件通過熱的良導(dǎo)體間接接觸，液體在通道內(nèi)發(fā)生相變或非相變升溫吸熱，發(fā)熱部件降溫的冷卻方式。在典型的間接液冷直流系統(tǒng)中，傳統(tǒng)的風(fēng)冷散熱片被替換為蒸發(fā)器或者其他液冷散熱片，并添加冷卻介質(zhì)分配輸送系統(tǒng)。冷卻介質(zhì)從數(shù)據(jù)中心外部通過輸送管路連接到數(shù)據(jù)中心 IT 設(shè)備上，升溫后的冷卻介質(zhì)與外部冷卻源換熱后降溫，并通過管路輸送至數(shù)據(jù)中心內(nèi)部進行循環(huán)冷卻。由于芯片是熱量的主要來源，冷卻介質(zhì)通常會通過間接冷卻的方式對芯片冷卻降溫，而其余組件如硬盤等則會通過風(fēng)冷來移除熱，目前除芯片外，其余組件還沒有能夠商業(yè)化實施的間接冷卻方案。間接液冷由于液體不與IT設(shè)備直接接觸，因此液體選擇范圍較大，只需考慮導(dǎo)熱系數(shù)是否滿足技術(shù)要求，以及能否與換熱導(dǎo)體管路兼容。間接液冷分為冷板冷卻和熱管冷卻，目前實際應(yīng)用的冷板冷卻中液體大多不發(fā)生相變，而熱管冷卻過程中液體發(fā)生相變。1. 冷板冷卻如圖6所示，冷板冷卻是將金屬冷板與IT設(shè)備芯片貼合，液體在冷板中流動，芯片發(fā)熱時將熱傳導(dǎo)給冷板金屬，液體流過冷板時升溫，利用顯熱將芯片熱量帶出，通過管道與外界冷源進行換熱，是芯片級別的冷卻方式，使用最多的冷卻介質(zhì)是水。

圖6冷板冷卻冷板冷卻是如今液冷數(shù)據(jù)中心采用最廣泛的散熱冷卻方式，使用的是液冷和風(fēng)冷相結(jié)合的方法，對芯片采用液冷，對硬盤等其他電器元件采用風(fēng)冷，并非嚴格意義上的單純液冷。與風(fēng)冷最多冷卻30 kW/r的機柜對比，冷板能冷卻小于45 kW/r的機柜更節(jié)能且噪音小，不需要昂貴的水冷機組，與純液冷對比也有一定優(yōu)勢。深圳市騰訊計算機系統(tǒng)有限公司采用冷板式冷卻與 IT 設(shè)備微模塊部署相結(jié)合，打造了液冷微模塊數(shù)據(jù)中心，液冷模塊的PUE 接近 1.1，機房整體 PUE 為 1.35。2019 年，微軟將一個裝有 864 臺服務(wù)器的數(shù)據(jù)中心密封艙浸入海水中，將海水泵入密封艙內(nèi)管道通過間接換熱給服務(wù)器降溫并進行冷卻性能測試，測試后發(fā)現(xiàn)海底數(shù)據(jù)中心管理成本和建造費用等均比傳統(tǒng)數(shù)據(jù)中心優(yōu)異，在水中的故障率是陸地的八分之一。2. 熱管冷卻熱管冷卻是在IT設(shè)備中添加熱管導(dǎo)熱元件，充分利用熱傳導(dǎo)與液體相變的快速熱傳遞性質(zhì)，將設(shè)備的熱量迅速傳遞到外界的冷卻方式。液體在熱管與發(fā)熱部件接觸端吸熱相變，利用相變潛熱吸收熱量變?yōu)闅鈶B(tài)，氣態(tài)介質(zhì)在壓差的作用下流向冷凝端，在冷凝端冷凝相變釋放熱量，凝結(jié)液通過熱管吸液芯的毛細作用或者重力作用流回蒸發(fā)段，循環(huán)往復(fù)傳遞發(fā)熱設(shè)備的熱量，再通過風(fēng)冷或液冷對冷凝段冷卻換熱。熱管的導(dǎo)熱能力超過所有已知的金屬，冷卻介質(zhì)有水、甲醇、丙酮、氨、一氟二氯乙烷、水合二氧化硅等，冷凝端可以用水或空氣冷卻。熱管沒有連接芯片的冷卻介質(zhì)連接管路，降低冷卻介質(zhì)在IT設(shè)備內(nèi)部的泄露風(fēng)險，沒有泵的需求，利用毛細壓差驅(qū)動氣液兩相自循環(huán)運動而發(fā)生熱量交換。因冷卻結(jié)構(gòu)中沒有運動部件，可靠性高。熱管冷卻機柜無需預(yù)留風(fēng)冷對流散熱冷卻空間，在提升機架功率密度的同時達到良好的冷卻效果，并能實現(xiàn)設(shè)備高效散熱和余熱回收再利用。清華大學(xué)基于環(huán)路熱管技術(shù)，將多級環(huán)路熱管應(yīng)用于數(shù)據(jù)中心，研發(fā)環(huán)路熱管機柜并且改造北京某數(shù)據(jù)中心，較空調(diào)制冷可節(jié)能41.6%。由于熱管冷卻能力相較冷板提升不明顯，現(xiàn)階段基本不考慮應(yīng)用于數(shù)據(jù)中心冷卻。（二）直接單相液冷直接單相液冷是將不影響IT設(shè)備部件正常工作的絕緣液體與部件直接接觸，液體不發(fā)生相變來帶走熱量的冷卻方式。1. 單相浸沒式液冷單相浸沒式液冷將IT設(shè)備浸沒在裝有冷卻介質(zhì)的密封槽中，在設(shè)備內(nèi)無需加入活動部件，只需提前規(guī)劃好流體流動通道，冷卻介質(zhì)經(jīng)過設(shè)備換熱不發(fā)生相變，利用升溫顯熱來交換熱量，升溫后的液體在循環(huán)泵的作用下流出冷卻介質(zhì)槽，進入冷卻器降溫后流回冷卻介質(zhì)槽，達到循環(huán)換熱的目的，可適用最高100 kW/r的服務(wù)器機柜。單相浸沒式液冷原理較簡單，如圖7所示，技術(shù)難點在于液冷材料的篩選和IT設(shè)備的設(shè)計。

圖7單相浸沒液冷示意圖對于直接單相液冷材料，需滿足絕緣性強、黏度低、閃點高或不燃，腐蝕性小，熱穩(wěn)定性高，生物毒性小等性能要求。液冷材料可采用礦物油或全氟胺、全氟聚醚等氟化物，如巨化集團“巨芯”直接單相液冷冷卻液已邁入產(chǎn)業(yè)化階段，主要性能指標(biāo)與國外壟斷產(chǎn)品基本一致。設(shè)備設(shè)計與風(fēng)冷不同，內(nèi)部需預(yù)留液體流道，且設(shè)備中不能含有與材料相作用的化學(xué)組成。浸沒液冷的機柜沒有密封外殼，且能有效保護設(shè)備不受灰塵或硫化物的侵害，允許維護程度較低的熱插拔而無需斷電，但需額外的維護程序防止冷卻介質(zhì)流失及去除滲透的空氣和水分。

圖8阿里云浸沒式液冷服務(wù)器如圖 8 所示，阿里云計算有限公司采用自主研發(fā)的液冷服務(wù)器集群，在杭州建成目前全球規(guī)模最大的單相浸沒液冷數(shù)據(jù)中心（仁和數(shù)據(jù)中心），是我國首座綠色等級達到5A級的液冷數(shù)據(jù)中心，PUE低至1.09。在該數(shù)據(jù)中心運行過程中選取數(shù)千臺液冷樣本和風(fēng)冷樣本進行分析，從服務(wù)器各個部件失效率情況來看，液冷服務(wù)器部件故障率下降53%。浸沒液冷能將溫度維持在發(fā)熱限值之下，可有效提升芯片效率。2. 單相噴淋液冷單相噴淋是利用液體噴嘴將冷卻介質(zhì)噴淋到發(fā)熱部件表面，液滴尺寸較大且不發(fā)生相變，在部件表面形成薄邊界層進行換熱，能在局部產(chǎn)生單相強對流換熱效果，利用升溫顯熱帶走熱量的冷卻方式。冷卻介質(zhì)接觸到熱源表面前，已霧化或者分散為小液滴。這一過程主要通過液體噴口的壓差來進行。廣東合一新材料研究院有限公司已研發(fā)集中供給噴淋液冷服務(wù)器，采用植物油對芯片噴淋，全程無相變，PUE可低至1.1以下。噴淋冷卻在增大噴嘴壓力后，將冷卻介質(zhì)高速噴出，可形成射流沖擊，冷卻介質(zhì)直接噴射到受熱表面上后，高速撞擊表面，利用高速強制對流傳熱的原理，沖程短，形成較薄的溫度和速度邊界層，在沖擊區(qū)域產(chǎn)生強換熱效果，與氣泡誘導(dǎo)的流動混合和潛熱傳遞結(jié)合，能產(chǎn)生理想的傳熱效率。單相噴淋屬于芯片級別換熱，冷卻效率高，在各個發(fā)熱部件上設(shè)置噴淋口，技術(shù)難度大，目前還未大規(guī)模應(yīng)用到數(shù)據(jù)中心冷卻中。液體在噴淋過程中遇到高溫?zé)嵩磿酗h逸和蒸發(fā)現(xiàn)象，霧滴和氣體沿機箱孔洞縫隙散發(fā)到機箱外，造成機房環(huán)境清潔度下降或?qū)ζ渌O(shè)備造成影響，因此對機箱密封性要求較高。噴淋冷卻還可與冷板冷卻結(jié)合使用，將液體噴淋到冷板上進行間接式換熱，來代替IT設(shè)備內(nèi)部的空氣冷卻，技術(shù)難度較小，目前已有應(yīng)用。SparyCool公司為美國陸軍指揮所平臺（CPP）設(shè)計噴淋間接換熱系統(tǒng)，提高車載指揮平臺的便捷可拆卸性，將設(shè)備包裝為單獨的運輸箱作為一個功能性的網(wǎng)絡(luò)配置單元，方便移動和靜態(tài)操作，只需要進行電源和網(wǎng)絡(luò)連接，無需重新進行網(wǎng)絡(luò)設(shè)備和硬件的配置及重新布線，適合移動作戰(zhàn)。（三）直接兩相液冷直接兩相液冷的創(chuàng)新點在于利用冷卻介質(zhì)相變的潛熱進行冷卻，一般采用沸點在 80℃以下的冷卻介質(zhì)。1. 兩相浸沒式液冷如圖 9 所示，兩相浸沒式液冷的液體在冷卻介質(zhì)槽內(nèi)與熱源接觸，在熱源表面形成的蒸汽氣泡上升到冷卻介質(zhì)槽上方區(qū)域，蒸汽經(jīng)過換熱在冷凝器中重新變?yōu)橐簯B(tài)，流回槽內(nèi)。

圖9兩相浸沒液冷示意圖相變傳熱及潛熱傳遞、重力驅(qū)動的兩相對流和氣泡誘導(dǎo)的流動混合，并且相變過程在 IT 設(shè)備發(fā)熱部件上進行，形成氣泡后對冷卻介質(zhì)后續(xù)移熱等產(chǎn)生影響，技術(shù)難度大，對冷卻介質(zhì)槽的密封性要求高，使用過程中冷卻介質(zhì)易受污染。兩相浸沒式液冷材料在滿足直接單相液冷要求前提下，需要較低的沸點，在IT 設(shè)備穩(wěn)定運行范圍內(nèi)進行相變吸熱，利用相變潛熱吸收熱量，冷卻介質(zhì)可采用 FC-72、Novec-649、HFE-7100 或 PF-5060 等短鏈氟化物，可將芯片溫度維持在 85℃ 以下穩(wěn)定運行，并且蒸汽在冷凝器冷卻后可以通過重力作用返回液槽，無需額外提供循環(huán)動力，單機柜功率密度可達 110 kW/r 以上。如圖 10 所示，2019 年曙光信息產(chǎn)業(yè)股份有限公司發(fā)布了“硅立方”高性能計算機，采用浸沒相變液冷技術(shù)方法，將單臺計算機的能效水平逼近極限，PUE達到1.04，展現(xiàn)了液冷技術(shù)在高性能計算機上的優(yōu)勢，但在數(shù)據(jù)中心等計算機集群上的應(yīng)用有待探索。

圖10 硅立方2. 相變噴淋液冷相變噴淋是在單相噴淋的基礎(chǔ)上，將冷卻介質(zhì)霧化成微小液滴后在發(fā)熱部件表面形成液膜，不發(fā)生明顯流動，液體汽化帶走熱量的冷卻方式，冷卻效率是非相變的 3 倍以上。噴淋冷卻的傳熱機理復(fù)雜，已有研究人員提出薄膜蒸發(fā)、單相對流、二次成核等機制，未有統(tǒng)一的傳熱模型，有待深入研究。相變噴淋是目前已知冷卻能力最強的冷卻方式，前景廣闊耗能較高，適合機柜功率密度140 kW/r以上的IT設(shè)備散熱冷卻，尚未有商業(yè)化的數(shù)據(jù)中心應(yīng)用方案。相變噴淋系統(tǒng)穩(wěn)定性待驗證，噴嘴易堵塞維護檢修困難，需要密封的蒸汽室和蒸汽回收裝置，還需要考慮電子設(shè)備的可靠性等問題。

05

綠色高效能數(shù)據(jù)中心散熱冷卻技術(shù)發(fā)展趨勢

數(shù)據(jù)中心是互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施，轉(zhuǎn)型升級對我國社會現(xiàn)代化有重要作用。綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)發(fā)展方向主要有制冷系統(tǒng)效率提升，冷熱流體通道優(yōu)化，新型液冷材料應(yīng)用，熱回收系統(tǒng)推廣等。（一）制冷系統(tǒng)效率提升數(shù)據(jù)中心制冷系統(tǒng)中包含冷卻塔、冷水機組、泵、冷凝器、流體輸送管道等設(shè)備，合理的工況參數(shù)選擇及設(shè)備選型能顯著提升制冷系統(tǒng)整體效率，進而提高能效比。通過使用高效不間斷電源、泵和冷卻器的頻率隨負荷降低或季節(jié)靈活轉(zhuǎn)變頻率、優(yōu)化數(shù)據(jù)中心內(nèi)部布局等方式可提高能源利用效率。（二）冷熱流體通道優(yōu)化冷熱通道（HACA）技術(shù)最先應(yīng)用于風(fēng)冷數(shù)據(jù)中心，相鄰機架入口或出口相對，形成間隔的冷熱通道。空調(diào)系統(tǒng)輸入服務(wù)器的冷空氣和換熱后的熱空氣區(qū)分開，分別由冷通道和熱通道輸入或輸出服務(wù)器，從熱力學(xué)角度提升冷卻介質(zhì)換熱效率。保證冷熱通道封閉性也有助于降低空調(diào)風(fēng)扇功率15%左右，節(jié)約能源。未來液冷數(shù)據(jù)中心也可借鑒應(yīng)用該技術(shù)，通過優(yōu)化IT設(shè)備內(nèi)部構(gòu)造，形成冷卻介質(zhì)輸入輸出的流體通道，避免不同溫度冷卻介質(zhì)相互混合，從熱力學(xué)原理上實現(xiàn)換熱效率最優(yōu)化。其次，還可增加冷卻介質(zhì)換熱的湍動程度，使換熱邊界層變薄，降低對流傳熱熱阻。（三）新型液冷材料應(yīng)用相較于風(fēng)冷數(shù)據(jù)中心使用空氣作為冷卻介質(zhì)，液冷數(shù)據(jù)中心的冷卻介質(zhì)種類多，選擇豐富。尋找與IT設(shè)備相容、安全性高、傳熱性能優(yōu)良的液冷材料是散熱冷卻技術(shù)發(fā)展的重要方向。液冷材料選擇需綜合考慮閃點、揮發(fā)性、生物毒性、導(dǎo)熱系數(shù)、黏度、介電常數(shù)、腐蝕性等多方面因素，導(dǎo)致液冷材料宏觀性質(zhì)差異的原因是液冷材料的分子結(jié)構(gòu)。通過模擬等手段篩選分子結(jié)構(gòu)不同的液冷材料，建立并完善液冷材料數(shù)據(jù)庫，尋找有競爭力的低成本高性能液冷材料是數(shù)據(jù)中心從風(fēng)冷半風(fēng)冷向液冷轉(zhuǎn)型升級的基石。（四）熱回收系統(tǒng)推廣目前大多數(shù)的熱回收技術(shù)通過與冷卻液流換熱來捕獲余熱，余熱的質(zhì)量和數(shù)量由熱管理系統(tǒng)的類型和規(guī)格決定。在高效的風(fēng)冷數(shù)據(jù)中心中，冷空氣通常以 25℃ 供給，與 IT 設(shè)備換熱后可升至 40℃，熱空氣經(jīng)過吸收式制冷設(shè)備可以將熱能轉(zhuǎn)變?yōu)殡娔?，實現(xiàn)熱電聯(lián)產(chǎn)，將產(chǎn)出的電能用于冷卻水，減少部分電能使用。采用冷板等液冷后，IT設(shè)備芯片工作溫度接近 85℃ 時，進水溫度可達 60℃ 左右，換熱后冷卻介質(zhì)產(chǎn)生的熱能質(zhì)量高，用途更廣。回收的余熱可用作工廠或區(qū)域的熱或熱水供應(yīng)，吸收式制冷，有機朗肯循環(huán)，壓電，熱電聯(lián)產(chǎn)，生物質(zhì)燃料干燥，海水淡化等用途。通過分析種類不同的數(shù)據(jù)中心散熱冷卻技術(shù)，配套相應(yīng)的熱回收系統(tǒng)，能有效提高能量利用效率。

06

數(shù)據(jù)中心散熱冷卻技術(shù)發(fā)展愿景

作為數(shù)據(jù)樞紐和應(yīng)用載體的數(shù)據(jù)中心，既是新型基礎(chǔ)設(shè)施的重要組成部分，也是IT行業(yè)新基建發(fā)展的基礎(chǔ)和搭建信息化平臺的重要前置條件，對數(shù)字經(jīng)濟的騰飛起到底層支撐作用。然而由于能耗高和散熱冷卻難等問題，數(shù)據(jù)中心綠色低碳化發(fā)展面臨巨大挑戰(zhàn)，隨著數(shù)據(jù)中心逐漸大型化、高密度的發(fā)展趨勢，冷卻技術(shù)需要順應(yīng)變化，及時轉(zhuǎn)型升級，淘汰能量浪費嚴重的舊數(shù)據(jù)中心，建設(shè)新一代以液冷為主的綠色節(jié)能數(shù)據(jù)中心。實現(xiàn)數(shù)據(jù)中心散熱冷卻技術(shù)轉(zhuǎn)型升級，可有利支撐我國“十四五”戰(zhàn)略布局，促進信息行業(yè)產(chǎn)業(yè)清潔化和低碳化，產(chǎn)業(yè)基礎(chǔ)高級化及產(chǎn)業(yè)鏈現(xiàn)代化，實現(xiàn)傳統(tǒng)行業(yè)改造提升，將粗放型轉(zhuǎn)為集約型，搶占數(shù)字經(jīng)濟碳達峰與碳中和技術(shù)制高點，保證數(shù)字經(jīng)濟等戰(zhàn)略新興產(chǎn)業(yè)發(fā)展不受基礎(chǔ)設(shè)施制約，進行科技創(chuàng)新，找到經(jīng)濟新增長點、發(fā)展新動能，對我國經(jīng)濟增長和社會穩(wěn)定有重要的意義。（一）優(yōu)化數(shù)據(jù)中心區(qū)域布局頂層設(shè)計，合理規(guī)劃發(fā)展高能效散熱冷卻技術(shù)對于現(xiàn)有的數(shù)據(jù)中心，從原有冷卻形式改造為液冷的成本過高，得不償失，在做好規(guī)劃的基礎(chǔ)上建造新的液冷數(shù)據(jù)中心會具有更大的經(jīng)濟優(yōu)勢。數(shù)據(jù)中心使用壽命為10年左右，散熱冷卻技術(shù)方案需做到提前規(guī)劃，與時俱進。加強全國數(shù)據(jù)中心管理，優(yōu)化頂層設(shè)計和統(tǒng)籌協(xié)調(diào)，提前布局并進行統(tǒng)一建設(shè)，將多個小型數(shù)據(jù)中心建設(shè)需求合并為高功率密度的大型數(shù)據(jù)中心，降低使用液冷的成本，提高能量利用效率。將各地數(shù)據(jù)中心規(guī)劃為有機整體，從全局出發(fā)，發(fā)揮各地土地能源科技等獨特優(yōu)勢，做到產(chǎn)業(yè)合理布局，資源配置集約化，組織結(jié)構(gòu)高度集中，達到降低液冷數(shù)據(jù)中心研發(fā)建造等成本的目的。（二）突破關(guān)鍵技術(shù)，實現(xiàn)數(shù)據(jù)中心散熱冷卻技術(shù)的全鏈條產(chǎn)業(yè)落地我國液冷數(shù)據(jù)中心處在發(fā)展初期，產(chǎn)業(yè)鏈尚不完備、設(shè)備采購成本偏高、采購渠道少、電子元器件的兼容性低、液冷服務(wù)器用冷卻介質(zhì)成本高等問題是液冷服務(wù)器尚未大規(guī)模推廣的重要原因。綠色數(shù)據(jù)中心從規(guī)劃到落地是一項系統(tǒng)性工程，涉及一系列技術(shù)難點突破，從散熱冷卻材料的篩選制備，到供配電系統(tǒng)優(yōu)化降低損耗，再到數(shù)據(jù)中心安全控制系統(tǒng)更新升級，需多專業(yè)共同攻關(guān)，加大科研投入，從散熱冷卻材料到適配服務(wù)器各個關(guān)鍵環(huán)節(jié)同步推進，組建區(qū)域科創(chuàng)綜合體，集中突破共性技術(shù)、關(guān)鍵技術(shù)、“卡脖子”技術(shù)，打破產(chǎn)業(yè)瓶頸，降低研發(fā)成本，牢牢把握創(chuàng)新發(fā)展主動權(quán)，使綠色數(shù)據(jù)中心設(shè)備實現(xiàn)自主研發(fā)、自主生產(chǎn)、自主建造，達到世界領(lǐng)先，將中國制造轉(zhuǎn)變?yōu)橹袊鴦?chuàng)造，提升數(shù)據(jù)中心行業(yè)核心競爭力。（三）制定科學(xué)標(biāo)準，引導(dǎo)數(shù)據(jù)中心散熱冷卻技術(shù)產(chǎn)業(yè)健康發(fā)展需建立完善的綠色數(shù)據(jù)中心行業(yè)標(biāo)準，對IT設(shè)備、液冷材料、運行維護、供配電、安全及熱控防護等方面制定統(tǒng)一的規(guī)范，形成科學(xué)的有機整體，提高從研發(fā)到生產(chǎn)的效率，確保新型散熱冷卻材料、新型IT設(shè)備等研發(fā)工作的順利開展，不同行業(yè)關(guān)鍵技術(shù)合理對接，及時轉(zhuǎn)化為生產(chǎn)力，做到技術(shù)之間、技術(shù)與產(chǎn)業(yè)之間深度融合，實現(xiàn)產(chǎn)業(yè)科學(xué)管理、跨界融合示范工程，降低運行維護成本，促進數(shù)據(jù)中心市場健康有序發(fā)展，創(chuàng)造新的應(yīng)用場景，產(chǎn)生新的消費需求。（四）完善產(chǎn)業(yè)布局，實現(xiàn)東西部數(shù)據(jù)中心建設(shè)協(xié)同推進數(shù)據(jù)中心的地理位置分布決定最佳散熱冷卻技術(shù)應(yīng)用方案，實現(xiàn)風(fēng)冷技術(shù)與液冷技術(shù)協(xié)同發(fā)展。中西部地區(qū)電量充沛，電價和地價低廉，且全年平均氣溫低，空氣清潔，滿足新風(fēng)制冷環(huán)境要求，適合構(gòu)建新風(fēng)制冷數(shù)據(jù)中心帶，符合綠色高能效發(fā)展趨勢。但由于空氣本身熱導(dǎo)率低，無法冷卻高功率密度的服務(wù)器，從制冷成本角度出發(fā)，盡量少采用刀片式等高可用、高密度的服務(wù)器平臺。對于證券交易、高科技、金融通信等對于網(wǎng)絡(luò)延遲和服務(wù)器類型有特殊需求的行業(yè)，避免數(shù)據(jù)遠距離傳輸，不建議通過中西部新風(fēng)數(shù)據(jù)中心進行數(shù)據(jù)處理。在我國東部大中型城市建立數(shù)據(jù)中心需綜合考慮多方面因素。首先是土地資源緊張，地價較高；其次是人口密集，空調(diào)機組等噪聲對居民正常生產(chǎn)生活影響較大；最后是電價等運維成本較高等。綜合多方面考慮，高功率密度、運行安靜、選址靈活的液冷數(shù)據(jù)中心更適用于東部地區(qū)。（五）注重清潔能源與余熱利用，實現(xiàn)數(shù)據(jù)中心的綠色化發(fā)展數(shù)據(jù)中心支撐龐大的數(shù)據(jù)存儲與運算，本質(zhì)上是高耗能產(chǎn)業(yè)。實現(xiàn)數(shù)據(jù)中心減碳降碳甚至碳中和就需要優(yōu)化數(shù)據(jù)中心的能源供應(yīng)結(jié)構(gòu)。風(fēng)能光伏發(fā)電等可再生能源形式可以與數(shù)據(jù)中心產(chǎn)業(yè)充分融合。雖然這類能源形式具有間歇不穩(wěn)定的特點，但可以通過科學(xué)設(shè)計改善數(shù)據(jù)中心的電力結(jié)構(gòu)，逐步增加“綠電”的使用比例。同時，可再生能源的價格和可用性相對平穩(wěn)，可使數(shù)據(jù)中心受能源供給的影響更低。數(shù)據(jù)中心在大量耗電的同時產(chǎn)生了大量的低品位熱量，可以考慮將數(shù)據(jù)中心產(chǎn)生的余熱進行二次利用，如為辦公場所提供冬季熱源，或與吸收式制冷技術(shù)結(jié)合將余熱轉(zhuǎn)化為冷能進行回收利用。

來源|中國工程科學(xué)作者 |陳心拓，周黎旸，張程賓等