基于煉丹神器深度學(xué)習(xí)下的生命科學(xué)冷凍電鏡單細(xì)胞基因分析的解決方案

當(dāng)前隨著冷凍電鏡、蛋白質(zhì)組學(xué)、深度學(xué)習(xí)、基因測序、卷積神經(jīng)網(wǎng)絡(luò)、高性能計算、單細(xì)胞基因、數(shù)據(jù)挖掘、數(shù)據(jù)分析、靶點發(fā)現(xiàn)、晶體預(yù)測、AlphaFold等技術(shù)的快速發(fā)展，生命科學(xué)開始被逐漸被人們所重視。

生命科學(xué)行業(yè)涉及研究微生物、動植物等一切生物的科學(xué)領(lǐng)域，也包括生命倫理學(xué)等相關(guān)領(lǐng)域的考量。生命科學(xué)的研究對提高人類生活質(zhì)量有很大幫助。從全球范圍來看，21世紀(jì)以來，全球生命科學(xué)發(fā)展進入快車道，特別是人類基因組計劃的實施、干細(xì)胞研究的深入、克隆技術(shù)的不斷發(fā)展等因素將生命科學(xué)的發(fā)展推向了新的高度，同時相應(yīng)領(lǐng)域的研發(fā)投入也在不斷增加。作為強烈依賴科技信息技術(shù)的典型代表，生命科學(xué)行業(yè)的藥物研發(fā)和基因測序分析領(lǐng)域面臨著計算資源短缺、研發(fā)周期長等問題。

生命科學(xué)領(lǐng)域面臨的挑戰(zhàn)

清華大學(xué)生命科學(xué)學(xué)院生物計算平臺主管楊濤認(rèn)為：冷凍電鏡目前在科研方向的挑戰(zhàn)分別是：數(shù)據(jù)管理的挑戰(zhàn)，科研進度的挑戰(zhàn)和實驗風(fēng)險的挑戰(zhàn)。

一、數(shù)據(jù)管理

源于超量數(shù)據(jù)，在最大化壓縮的前提下，每天大約會產(chǎn)生4TB的數(shù)據(jù)量。為了使計算設(shè)備的效率最大化，需要365天不間斷工作。一年的數(shù)據(jù)總量非常驚人，給數(shù)據(jù)管理帶來巨大的挑戰(zhàn)。

二、科研管理

冷凍電鏡技術(shù)已經(jīng)備受認(rèn)可，各科研機構(gòu)都在調(diào)動資源搶占高地，所以存在時間效率的問題，哪怕比別人慢半天，都會失去首發(fā)的價值。

三、實驗風(fēng)險

這是一個非常長時間的實驗流水線，任何中間環(huán)節(jié)都存在風(fēng)險。一旦不能及時解決風(fēng)險，整個系統(tǒng)的產(chǎn)出就會大打折扣。

客戶需求

某學(xué)院單細(xì)胞基因組研究技術(shù)中心(簡稱“該中心”)旨在建立標(biāo)準(zhǔn)化、自動化的工程技術(shù)，提高單細(xì)胞結(jié)構(gòu)分析水平，高精度確定從蛋白質(zhì)分子到全細(xì)胞的三維結(jié)構(gòu)，并在此基礎(chǔ)上揭示蛋白質(zhì)及其復(fù)合體功能，大規(guī)模制備蛋白/抗體，建成具有國際一流水平和綜合示范功能的蛋白質(zhì)科學(xué)研究核心基地。

就生命科學(xué)研究項目而言，每個項目涉及的數(shù)據(jù)量小在上百TB。對于時間周期長、領(lǐng)域廣的項目，未來數(shù)據(jù)需求可能在PB級。此外，該中心需要考慮支持多種生命科學(xué)研究項目，而其中，不同應(yīng)用對高性能平臺計算環(huán)境有不同的要求，如基因測序需要高I/O性能和內(nèi)存大消耗，而分子動力學(xué)研究除了I/O性能外，還需要較高的網(wǎng)絡(luò)和并發(fā)處理能力。所有這些都對該中心構(gòu)建高性能平臺提出了挑戰(zhàn):

一、數(shù)據(jù)量增長10多倍，計算能力也要“跟上”

研究團隊采用的冷凍電鏡技術(shù)在近兩年取得了革命性的進展，具體來說就是相機技術(shù)實現(xiàn)了飛躍，采集數(shù)據(jù)的能力提高了10多倍，甚至上百倍，從而使得研究蛋白質(zhì)結(jié)構(gòu)的源數(shù)據(jù)呈幾何級數(shù)增長，這就需要中心在后期全面提升數(shù)據(jù)處理和計算能力。

二、亟需簡化管理保障服務(wù)品質(zhì)

隨著生命科學(xué)研究項目越來越多，如何根據(jù)不同項目和研究人員個性化需求分配資源，及時回收資源，實現(xiàn)跨整個高性能資源池的集中統(tǒng)一管理，簡化維護管理，減輕運維人員負(fù)擔(dān)，是科研高性能計算平臺普遍面臨問題。

三、TCO居高不下

生命科學(xué)研究迅速成為國家戰(zhàn)略發(fā)展方向，導(dǎo)致研究項目和跨學(xué)科研究需求快速增加。傳統(tǒng)的分層計算存儲資源利用率低，導(dǎo)致新增費用快速增加。此外，能耗也成為阻礙高性能計算中心擴展的不可逾越的“高墻”。

四、網(wǎng)絡(luò)性能不能拖后腿

作為保證高性能集群正常運行的關(guān)鍵，高性能網(wǎng)絡(luò)承擔(dān)著重要的連接任務(wù)。隨著單節(jié)點計算和存儲性能的不斷提升，高性能用戶需要萬兆，四萬兆，十萬兆，InfiniBand網(wǎng)絡(luò)選擇以滿足不同的高性能計算需求。

解決方案特點

藍海大腦基于融合架構(gòu)助力某學(xué)院單細(xì)胞基因組研究技術(shù)中心搭建了一個分布式高性能平臺，擁有250個物理計算節(jié)點，5000個計算核心，總存儲容量1.92PB，理論計算能力208Tflops。通過Lustre技術(shù)實現(xiàn)了跨20個融合架構(gòu)的集中統(tǒng)一管理。

一、4.1TFLOPS/U的計算密度，4倍性能提升

可針對不同項目量身定制配置。其中，高密度計算節(jié)點支持14核英特爾?至強TM E5-2600v3處理器，在2U中擁有224個計算核心的密度，單U空間的計算性能密度達到業(yè)界領(lǐng)先的4.1TFLOPS，同時支持64個DIMM高密度內(nèi)存，確保高性能和低延遲的性能要求。此外，還支持InfiniBand接口，非常適合要求超低延遲的工作負(fù)載。在強大計算能力的保證下，計算效率提升3-4倍，過去4-5天才能完成的計算任務(wù)，一天就能完成。

二、簡化高性能資源池監(jiān)控管理

根據(jù)項目要求定制不同的系統(tǒng)配置，同時通過機箱管理控制器(CMC)，可以集中監(jiān)控和管理20個FX系統(tǒng)。此外，無代理生命周期管理和一對多遠(yuǎn)程管理功能可確保BIOS和固件程序更新不會影響業(yè)務(wù)穩(wěn)定性，并提高系統(tǒng)中計算節(jié)點生命周期管理的效率。而且在擴展服務(wù)器時，IT人員可以通過下發(fā)配置文件，使系統(tǒng)自動更新BIOS和固件程序，避免了重復(fù)輸入配置參數(shù)的繁瑣過程，減少了人工輸入錯誤導(dǎo)致的系統(tǒng)故障，簡化了管理運維，降低了管理費用。

三、TCO降低約20%

自動化、高密度、低能耗的集成部署、集中統(tǒng)一管理，可以使中心的TCO降低20%左右。其中，藍海大腦將通過主板連接服務(wù)器、存儲和1G0b網(wǎng)絡(luò)，通過模塊化設(shè)計形成融合一體機，同時提供散熱、供電、網(wǎng)絡(luò)、管理和PCIe擴展的共享插槽，降低數(shù)據(jù)中心的占地和能耗，幫助中心獲得良好的性價比。

四、高速網(wǎng)絡(luò)保障平臺I/O性能

藍海大腦為中心提供四萬兆高性能網(wǎng)絡(luò)，在保持成本優(yōu)勢的基礎(chǔ)上，為用戶提供穩(wěn)定的網(wǎng)絡(luò)性能，保證高性能、低延遲要求。

五、打破原有的服務(wù)器散熱方式，采用液冷散熱

藍海大腦液冷服務(wù)器系統(tǒng)突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進行冷卻，其余熱源仍采用風(fēng)冷方式進行冷卻。通過這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時，降低主要熱源 CPU 散熱所耗電能，并增強服務(wù)器可靠性。經(jīng)檢測，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。

客戶收益

一、藍海大腦HPC高性能計算與AI平臺已成為高性能、多功能、專業(yè)的前沿計算平臺，尤其在AI深度學(xué)習(xí)方面，為校內(nèi)外生物學(xué)研究提供高效的計算支持。同時為計算生物學(xué)、深度學(xué)習(xí)、基因測序等多個研究組提供計算服務(wù)。包括測序儀的離線處理、序列搜尋比對分析、分子動力學(xué)模擬、計算機輔助藥物設(shè)計和分子對接、生物網(wǎng)絡(luò)的計算。

二、全力支持基于深度學(xué)習(xí)的分子圖編碼和基于深度學(xué)習(xí)的中藥方劑系統(tǒng)的研發(fā)。研發(fā)人員可以利用HPC高性能計算和AI平臺開發(fā)基于三維分子圖譜的深度學(xué)習(xí)編碼，進行基于深度學(xué)習(xí)的中醫(yī)診斷處方。多任務(wù)分子預(yù)測模型由卷積神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成。交叉驗證用于調(diào)整和驗證參數(shù)，外部數(shù)據(jù)用于測試和評估模型。同時，從預(yù)測模型中挖掘關(guān)鍵信息。同時通過卷積神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量的方劑配伍信息，然后用主藥生成語義自動關(guān)聯(lián)分析得到的輔藥，從而生成新的方劑。藍海大腦HPC高性能計算和AI平臺提供了高效并行的計算資源，大大加快了模型的訓(xùn)練速度，從而在有效的時間內(nèi)完成最終的任務(wù)。

三、支持基于化學(xué)片段的從頭計算藥物設(shè)計，對疾病的治療和生物學(xué)功能的理解有重要的促進作用。傳統(tǒng)的藥物篩選過程耗時長，成本高，導(dǎo)致整個藥物設(shè)計和發(fā)現(xiàn)過程效率低下。為了加快藥物設(shè)計和發(fā)現(xiàn)的進程，研究人員利用這一平臺逐步發(fā)展了分子從頭設(shè)計的方法，并取得了良好的效果。研究人員通過蒙特卡洛樹搜索和神經(jīng)網(wǎng)絡(luò)模型的結(jié)合，實現(xiàn)了巨大化學(xué)空間的搜索和最優(yōu)結(jié)構(gòu)的采樣，快速完成了完整的從頭計算藥物設(shè)計過程，并探索了蛋白質(zhì)口袋表征和評分功能。

四、利用深度學(xué)習(xí)框架構(gòu)建深度學(xué)習(xí)模型，加強學(xué)習(xí)模型的訓(xùn)練，實現(xiàn)深度學(xué)習(xí)的評分函數(shù)模型的訓(xùn)練和測試，并對模型進行訓(xùn)練。對于模型生成的分子，通過聚類分析分子的合成、毒性和理化性質(zhì)，選擇合適的分子。

審核編輯 黃昊宇