"
結(jié)合京東科技 '雙碳' 的技術(shù)發(fā)展方向,京東在數(shù)據(jù)中心領(lǐng)域的持續(xù)創(chuàng)新,與英特爾合作,打造 '綠色' 算力技術(shù)。將整機(jī)柜供電的總線電壓提高到 54V,有效降低了電源全鏈路損耗,改善了數(shù)據(jù)中心能效。結(jié)合在氣流優(yōu)化、液冷散熱等方面的技術(shù)改進(jìn),以及第四代英特爾 至強(qiáng) 可擴(kuò)展處理器帶來的更高能耗比,我們推出了綠色的高密度算力整機(jī)柜方案,打造了可持續(xù)的數(shù)據(jù)中心典范。我們也和英特爾將技術(shù)成果標(biāo)準(zhǔn)化,幫助更多企業(yè)構(gòu)建綠色的高密度算力基礎(chǔ)設(shè)施。
——陳國峰
京東科技京東云事業(yè)部
硬件架構(gòu)負(fù)責(zé)人
"//概 述 //
在綠色可持續(xù)發(fā)展成為社會(huì)共識的今天,推進(jìn)數(shù)據(jù)中心的節(jié)能減排已經(jīng)成為重要趨勢。作為中國大規(guī)模云數(shù)據(jù)中心的重要運(yùn)營者,京東與英特爾在綠色數(shù)據(jù)中心發(fā)展方面已經(jīng)開展了深度合作,包括采用第四代英特爾 至強(qiáng) 可擴(kuò)展處理器提升性能/能耗比,采用模塊化服務(wù)器設(shè)計(jì)實(shí)現(xiàn)更加高效的散熱設(shè)計(jì),發(fā)布了從數(shù)據(jù)中心級到微處理器級的冷板液冷整體解決方案等,有效地提升了數(shù)據(jù)中心的整體能效,降低數(shù)據(jù)中心碳排放量。
在供電方面,京東還推出了大功率高利用率整機(jī)柜液冷服務(wù)器設(shè)計(jì),該服務(wù)器搭載了第四代英特爾 至強(qiáng) 可擴(kuò)展處理器,通過將整機(jī)柜供電的總線電壓從 12V 提高到 54V,降低整機(jī)柜服務(wù)器內(nèi)部的連接阻抗和導(dǎo)電阻抗,從而大幅降低了電源輸出端到終端設(shè)備的全鏈路傳輸損耗,達(dá)到了提高數(shù)據(jù)中心用電效率、改善總體擁有成本 (TCO) 和降低碳排放的目的。
//背景:打造高密度、綠色節(jié)能的數(shù)據(jù)中心成為重要趨勢 //
數(shù)據(jù)中心規(guī)模快速擴(kuò)大帶來的能耗問題在全世界都倍受關(guān)注,提升數(shù)據(jù)中心能效,推動(dòng)綠色數(shù)據(jù)中心建設(shè)已成為數(shù)據(jù)中心未來可持續(xù)發(fā)展的必然趨勢。對于京東而言,隨著業(yè)務(wù)的持續(xù)快速發(fā)展,人工智能 (AI)、云原生、計(jì)算機(jī)視覺等技術(shù)得到了快速應(yīng)用,對于計(jì)算、存儲、網(wǎng)絡(luò)等基礎(chǔ)資源的需求出現(xiàn)了爆發(fā)式增長。為滿足這些需求,京東加大了在數(shù)據(jù)中心方面的投資,這在支撐業(yè)務(wù)快速增長的同時(shí),也帶來了不容小視的能耗問題。
為了滿足日益增長的算力需求,同時(shí)降低能耗,京東希望能夠解決以下挑戰(zhàn),從而持續(xù)改善機(jī)架式服務(wù)器的空間利用率與功率密度:
12V 總線電壓設(shè)計(jì)的損耗較高:在過去幾代機(jī)架式服務(wù)器中,12V 供電是服務(wù)器電源最常見的中間總線電壓設(shè)計(jì)。然而,由于電纜、連接器和 PCB 中存在的不可避免的損耗,該總線電壓設(shè)計(jì)會(huì)降低傳輸至負(fù)載的功率,從而嚴(yán)重影響系統(tǒng)功效。特別是在新一代服務(wù)器的功率已經(jīng)遠(yuǎn)超前代產(chǎn)品的背景下,12V 的總線電壓對于供電效率的制約已經(jīng)愈發(fā)明顯。 功率瓶頸導(dǎo)致機(jī)柜空間浪費(fèi):隨著多種部件功耗提升,機(jī)柜總功率顯著增加,既有的供電系統(tǒng)難以滿足如此高功率的供電需求,導(dǎo)致數(shù)據(jù)中心必須減少機(jī)柜的服務(wù)器部署數(shù)量,以應(yīng)對功率方面的限制,這導(dǎo)致了約三分之二的空間閑置。 傳統(tǒng)冷卻方式的效率不足:傳統(tǒng)數(shù)據(jù)中心多采用空氣作為冷卻介質(zhì),這種方式較為成熟且應(yīng)用廣泛,但是缺陷也相當(dāng)明顯:當(dāng)數(shù)據(jù)中心部署了高密度的服務(wù)器時(shí),由于房間水平的空氣循環(huán),傳統(tǒng)的空氣冷卻系統(tǒng)無法在垂直機(jī)架陣列的 IT 設(shè)備入口處提供均勻溫度的空氣;此外,空氣冷卻系統(tǒng)效率相對較低,特別是在機(jī)架中的高密度服務(wù)器運(yùn)行時(shí),滿足散熱需求的空氣冷卻系統(tǒng)的總功率常會(huì)達(dá)到 100kW 以上,這在經(jīng)濟(jì)性、供電、噪音等方面都會(huì)帶來巨大的困擾。 提升服務(wù)器的算力能效比:多樣化的應(yīng)用負(fù)載意味著數(shù)據(jù)中心需要提供多元化算力,以支持上層應(yīng)用使用更優(yōu)架構(gòu)完成每項(xiàng)任務(wù)。只有提升服務(wù)器的算力能效比,并更加靈活地調(diào)用服務(wù)器的算力資源,才能有助于降低特定任務(wù)的能耗。 //解決方案:京東云綠色數(shù)據(jù)中心高密度算力方案 //
京東云綠色數(shù)據(jù)中心高密度服務(wù)器的典型模塊如圖 1 所示,由標(biāo)準(zhǔn)電源、前 IO 模組、液冷模組、內(nèi)置 PCIe 模組、風(fēng)扇模組、電源轉(zhuǎn)換模組、后 IO 模組等構(gòu)成。
圖 1. 京東云綠色數(shù)據(jù)中心高密度服務(wù)器的模塊化設(shè)計(jì)
與集中式電源架構(gòu)中的 12V 總線電壓設(shè)計(jì)相比,54V 總線電壓通過減少機(jī)架中的傳導(dǎo)損耗,能夠在更高的機(jī)架功率下提供更好的整體機(jī)架效率。特別是當(dāng)機(jī)架功率密度增加時(shí),54V 供電的優(yōu)勢在機(jī)架總功率效率上更加明顯。
京東云綠色數(shù)據(jù)中心高密度算力方案采用了天樞機(jī)架式機(jī)柜,該機(jī)柜支持兩種電源模式,即中央模式和分布式模式,中央電源模式為 54V 高功率支持模式。兩條電源線提供給電源架,輸出功率為 54V。54V 電源通過機(jī)架式機(jī)柜后面垂直放置的電源母線提供給每個(gè)服務(wù)器節(jié)點(diǎn)。圖 2 顯示了天樞機(jī)架式機(jī)柜的電源架布局,即 12 個(gè)電源單元 (PSU) 插入電源模塊,這些 PSU 的 54V 輸出并聯(lián)連接,并通過垂直銅母線提供給每個(gè)服務(wù)器節(jié)點(diǎn)。與母線相連的服務(wù)器內(nèi)部設(shè)計(jì)有 54V 至 12V 電源轉(zhuǎn)換模塊,可將 54V 電源轉(zhuǎn)換為 12V 電源,用于主板。
圖 2. 天樞機(jī)架式機(jī)柜電源架布局
京東采用的 54V 電源 PSU 為鈦金牌高效率電源模塊,能夠通過高能源轉(zhuǎn)換效率節(jié)省能源。此外,京東 54V 轉(zhuǎn) 12V 電源模組采用成熟 54V VR 方案,多組并聯(lián),最大功率達(dá) 2100W,實(shí)現(xiàn)了可插拔、高效率、高功率密度。
京東還部署了從數(shù)據(jù)中心級到微處理器級的冷板液冷整體解決方案,在冷卻液分配單元 (CDU)、工作液、歧管、服務(wù)器等方面進(jìn)行了針對性的創(chuàng)新設(shè)計(jì)。該方案組建冷卻液回路,利用 CDU 分配冷卻液。在通過冷板收集計(jì)算節(jié)點(diǎn)的熱量后,冷卻液不斷流向另一個(gè)冷的 CPU,并通過另一個(gè)連接器離開服務(wù)器冷板管道,實(shí)現(xiàn)液冷計(jì)算節(jié)點(diǎn)的液冷循環(huán)。
圖 3. 京東服務(wù)器冷板液冷方案
為了進(jìn)一步提高數(shù)據(jù)中心在計(jì)算、存儲、網(wǎng)絡(luò)層面的基礎(chǔ)資源供給能力,推動(dòng)數(shù)據(jù)中心節(jié)能減排,京東云綠色數(shù)據(jù)中心高密度算力方案采用了第四代英特爾 至強(qiáng) 可擴(kuò)展處理器。第四代英特爾 至強(qiáng) 可擴(kuò)展處理器通過創(chuàng)新架構(gòu)增加了每個(gè)時(shí)鐘周期的指令,每個(gè)插槽多達(dá) 56 個(gè)核心,支持 8 通道 DDR5 內(nèi)存,有效提升了內(nèi)存帶寬與速度,并通過 PCIe 5.0(80 個(gè)通道)實(shí)現(xiàn)了更高的 PCIe 帶寬提升。除了釋放第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的基礎(chǔ)算力優(yōu)勢之外,京東還靈活應(yīng)用處理器集成的英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT 等高級硬件能力,提升數(shù)據(jù)中心面向多種負(fù)載的能效。
//收益:顯著改善供電效率,助力節(jié)能減排 //
得益于更加高效的供電、冷卻設(shè)計(jì),京東云綠色數(shù)據(jù)中心高密度算力方案在節(jié)能減排方面實(shí)現(xiàn)了如下收益:
銅排效率改善 3.8%,銅排損耗減少 770W1
京東機(jī)柜最大負(fù)載測試數(shù)據(jù)顯示,相較于 12V 總線電壓設(shè)計(jì)相比,采用 54V 總線電壓的整機(jī)柜銅排效率從 96% 提升到 99.86%,最大損耗從 800 W 降低到約 30 W,損耗大幅降低2 。
54V 轉(zhuǎn) 12V 模組效率達(dá)到 97.7%3服務(wù)器兼容 54V 集中供電的整機(jī)柜和 12V 的 CRPS 供電的服務(wù)器,54V 轉(zhuǎn) 12V 模組效率達(dá)到 97.7%。
節(jié)省數(shù)據(jù)中心 TCO新的 54V 機(jī)架部署將增加資本成本,但投資的增加將通過每年節(jié)省的電能來補(bǔ)償,按 21KW 機(jī)架功率計(jì)算,每年可節(jié)約用電 8500 千瓦時(shí),節(jié)約用電成本約 6000 元;按部署 500 個(gè)機(jī)架計(jì)算,在 5 年的生命周期內(nèi),可節(jié)省高達(dá) 1500 萬元的電力4 。
降低碳排放該方案單個(gè)機(jī)柜每年可減少多達(dá) 87 噸的二氧化碳排放。部署 500 個(gè)機(jī)柜,在 5 年的生命周期內(nèi),總共可以減少 21750 噸二氧化碳排放5 。除此之外,天樞機(jī)架支持與液冷兼容,如今京東數(shù)據(jù)中心的液冷機(jī)架解決方案已實(shí)現(xiàn) 1.1 的 PUE。同時(shí),與傳統(tǒng)機(jī)架相比,全機(jī)柜液冷在服務(wù)器部署中節(jié)省了大量運(yùn)輸。據(jù)估計(jì),如果機(jī)架以全柜交付的方式交付,1000 個(gè)服務(wù)器節(jié)點(diǎn)的二氧化碳排放量可以減少 5.3 噸6 。
//展 望 //
在現(xiàn)代化的高密度數(shù)據(jù)中心,整體功耗的不斷提升為散熱效率、節(jié)能減排、以及運(yùn)營成本帶來了極大挑戰(zhàn),這也加重了企業(yè)尋找創(chuàng)新的數(shù)據(jù)中心供電、冷卻解決方案的壓力。通過在整機(jī)柜中采用 54V 總線電壓設(shè)計(jì),以及全機(jī)柜液冷方案,京東能夠顯著降低服務(wù)器供電損耗,提升電源鏈路效率,降低碳排放,助力打造高性能、高密度、可持續(xù)的綠色數(shù)據(jù)中心。
除了供電、冷卻方面的節(jié)能減排措施之外,第四代英特爾 至強(qiáng) 可擴(kuò)展處理器等新一代硬件將有助于提升性能密度與能效,助力降低服務(wù)器在多種負(fù)載下的能效。展望未來,英特爾正在與京東等業(yè)界上下游生態(tài)伙伴合作,圍繞電源設(shè)計(jì)、冷卻技術(shù)等構(gòu)建行業(yè)標(biāo)準(zhǔn),降低實(shí)施成本,結(jié)合中國市場特點(diǎn),以助力提升能效、降低 PUE,進(jìn)而推動(dòng)先進(jìn)綠色數(shù)據(jù)中心建設(shè),實(shí)現(xiàn)綠色節(jié)能發(fā)展。
實(shí)際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex
性能測試結(jié)果基于配置信息中顯示的日期進(jìn)行測試,且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產(chǎn)品或組件是絕對安全的。
具體成本和結(jié)果可能不同。
英特爾技術(shù)可能需要啟用硬件、軟件或激活服務(wù)。
英特爾未做出任何明示和默示的保證,包括但不限于,關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證,以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。
英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請您審查該內(nèi)容,咨詢其他來源,并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。
-
英特爾
+關(guān)注
關(guān)注
60文章
9747瀏覽量
170639 -
cpu
+關(guān)注
關(guān)注
68文章
10698瀏覽量
209328 -
京東云
+關(guān)注
關(guān)注
0文章
44瀏覽量
9
原文標(biāo)題:英特爾攜手京東云構(gòu)建綠色數(shù)據(jù)中心高密度算力方案,降低TCO和碳排放
文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論