IBM ESS產(chǎn)品滿足長期數(shù)據(jù)保護(hù) 實(shí)現(xiàn)高效開發(fā)迭代和系統(tǒng)管理

IBM的公益項(xiàng)目，從來不是簡單地捐錢捐物，而是通過自己百年積累的技術(shù)優(yōu)勢服務(wù)社會(huì)。記得2008年初到 IBM，發(fā)生了汶川地震，IBM不僅組織員工捐錢捐物，還派出志愿者前往災(zāi)區(qū)協(xié)助救援。在工作中IBM志愿者發(fā)現(xiàn)當(dāng)時(shí)大量物資進(jìn)川，缺乏有效地IT系統(tǒng)對(duì)物資進(jìn)行管理，于是發(fā)揮技術(shù)優(yōu)勢，迅速幫助當(dāng)?shù)卣罱ê昧薎T平臺(tái)，大大提高了物資運(yùn)輸和管理的效率。也是在同年，IBM成立了企業(yè)全球志愿者服務(wù)隊(duì)，簡稱CSC，和 “捐款捐物”的公益活動(dòng)有所不同，IBM CSC是一個(gè)特別的企業(yè)公益項(xiàng)目：服務(wù)隊(duì)成員來自不同的國家，具備不同的文化背景和技能，帶來全球的經(jīng)驗(yàn)；項(xiàng)目著眼于當(dāng)?shù)厣鐣?huì)發(fā)展大局，在經(jīng)濟(jì)、環(huán)境、健康、教育等領(lǐng)域?qū)ふ艺n題，無償提供商業(yè)領(lǐng)域的優(yōu)秀人才和技能。

2019年開始，IBM組織了AI公益啟蒙季，旨在為青少年提供領(lǐng)先系統(tǒng)化的STEM興趣課程。我也有幸參與其中，為云南滄源小同學(xué)進(jìn)行了線上授課，講解了地球科學(xué)部分。當(dāng)時(shí)為了能給小同學(xué)講的更清晰、更生動(dòng)，翻閱了很多科學(xué)科普讀物，比如：《時(shí)間的形狀》、《槍炮、病菌與鋼鐵》等等，慢慢地也開始關(guān)心天文，人類學(xué)，量子理論。

另外，值得一提的是，疫情期間，AI啟蒙季提供了Open P-TECH網(wǎng)絡(luò)平臺(tái)，提供免費(fèi)的線上課程，已經(jīng)有幾十萬的中小學(xué)生受益于這個(gè)項(xiàng)目，更為榮幸的是，目前這個(gè)項(xiàng)目的系統(tǒng)維護(hù)就是由我所在部門的小伙伴負(fù)責(zé)的，而這個(gè)系統(tǒng)的背后采用了最新的容器云平臺(tái)Openshift構(gòu)建，底層存儲(chǔ)使用了支持容器原生存儲(chǔ)的 IBM Spectrum Scale。

IBM Spectrum Scale是針對(duì)云計(jì)算、大數(shù)據(jù)分析、對(duì)象等的高級(jí)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理解決方案。Spectrum Scale 可為所有這些數(shù)據(jù)提供全局命名空間，并提供統(tǒng)一管理。然后，數(shù)據(jù)可在不同類別的存儲(chǔ)中進(jìn)行分層，并可在全球范圍內(nèi)進(jìn)行訪問，確保始終可以在正確的時(shí)間在正確的位置提供數(shù)據(jù)。Spectrum Scale 基于IBM General Parallel File System （GPFS） 而設(shè)計(jì)，可降低高達(dá)90% 的存儲(chǔ)成本，同時(shí)還可為云、大數(shù)據(jù)和分析以及高性能計(jì)算數(shù)據(jù)提供世界級(jí)的可靠性、可擴(kuò)展性和可用性，從而輕松應(yīng)對(duì)數(shù)據(jù)增長。最近IBM發(fā)布的ESS3500產(chǎn)品，正是基于 Spectrum Scale 的硬件一體機(jī)產(chǎn)品。

簡單來說，Spectrum Scale的三大特點(diǎn)：一是加速性能，二是簡化多云管理，三是降低成本。這里我們介紹三個(gè)對(duì)應(yīng)的案例故事。

加速性能

第一個(gè)是加速科學(xué)計(jì)算的故事。前幾天我看到科學(xué)家公布了一張銀河系人馬座的黑洞的照片，這張照片實(shí)際是5年前由分布在全球的8臺(tái)射電望遠(yuǎn)鏡拍攝的，那為什么這張照片需要“沖洗”5年之久呢？主要是數(shù)據(jù)量巨大，8臺(tái)望遠(yuǎn)鏡采集了將近8PB的數(shù)據(jù)，然后由美國和德國大學(xué)的HPC服務(wù)器進(jìn)行計(jì)算，這一算就是5年?？梢娪布阅軐?duì)科學(xué)計(jì)算的作用是相當(dāng)關(guān)鍵的。

類似科學(xué)研究的案例，是復(fù)旦大學(xué)的冷凍電鏡項(xiàng)目，它借助IBM ESS產(chǎn)品加速了生命科學(xué)研究的進(jìn)程。冷凍電鏡是結(jié)構(gòu)生物學(xué)的分支學(xué)科，其應(yīng)用會(huì)產(chǎn)生大量的二維圖像數(shù)據(jù)，需要通過高性能的集群設(shè)備對(duì)這些數(shù)據(jù)進(jìn)行分析處理才能夠變成可用的大分子三維結(jié)構(gòu)的數(shù)據(jù)。之所以選擇IBM ESS的解決方案，主要是因?yàn)?/p>

首先，IBM ESS 聚合帶寬整體的 IO 可以達(dá)到上百個(gè) GB， 本身就能滿足冷凍電鏡項(xiàng)目并發(fā)的高吞吐量的讀寫要求。

第二，ESS 接口協(xié)議很豐富，用戶可以在不同的操作系統(tǒng)上、不同的體系上、不同的設(shè)備上掛載一個(gè)存儲(chǔ)池，方便管理和運(yùn)維。

第三， ESS 本身有比較強(qiáng)的橫向擴(kuò)展的能力。ESS 大容量、靈活擴(kuò)展和部署的屬性更符合于冷凍電鏡項(xiàng)目的需求。

第四，該項(xiàng)目還有更大量的數(shù)據(jù)長期保存和轉(zhuǎn)儲(chǔ)的需求，ESS可以方便的把一些冷數(shù)據(jù)保存到磁帶上， 滿足長期數(shù)據(jù)保護(hù)，同時(shí)降低歸檔成本。

簡化多云管理

另一個(gè)故事是幫助AI自動(dòng)駕駛領(lǐng)域的獨(dú)角獸企業(yè)，簡化他們的數(shù)據(jù)管理。地平線是一家 AI 領(lǐng)域的獨(dú)角獸公司，面向智能駕駛以及 AIoT 領(lǐng)域提供全面開放的賦能服務(wù)，在 AI 芯片和算法方面獨(dú)樹一幟。地平線在 AI 模型訓(xùn)練中所累積的數(shù)據(jù)量超過數(shù)十PB，并且以每年以若干PB 的增量繼續(xù)高速增長，這些數(shù)據(jù)分散在多中心、多云環(huán)境里。起初，地平線使用基于開源 GlusterFS、Ceph、以及 HDFS 所構(gòu)建的數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)，面臨著豎井林立，存取性能下降，數(shù)據(jù)調(diào)度困難，管理復(fù)雜、數(shù)據(jù)存放成本高等難題，因此亟需改造和升級(jí)，以滿足業(yè)務(wù)發(fā)展的要求?；?IBM Spectrum Scale，地平線構(gòu)建了高性能海量數(shù)據(jù)分布式存儲(chǔ)架構(gòu)，統(tǒng)一數(shù)據(jù)平臺(tái)，消除豎井，更好地利用資源，讓業(yè)務(wù)迭代更加快速。具體而言：

第一，統(tǒng)一數(shù)據(jù)平臺(tái)，提升開發(fā)效率。利用 IBM Spectrum Scale 在多云之間形成統(tǒng)一的全局命名空間，將不同數(shù)據(jù)訪問接口的數(shù)據(jù)方便地接入進(jìn)來統(tǒng)一管理，消除豎井，實(shí)現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。

第二，數(shù)據(jù)隨需調(diào)度，快速響應(yīng)需求。Spectrum Scale 讓數(shù)據(jù)得以統(tǒng)一調(diào)度，數(shù)據(jù)可以自動(dòng)透明地在多云間自由流動(dòng)，大大節(jié)省了人工成本、降低了誤操作的風(fēng)險(xiǎn)，訪問速度達(dá)到毫秒級(jí)，加速訓(xùn)練任務(wù)日程。

第三，運(yùn)維自動(dòng)完成，提升數(shù)據(jù)安全。Spectrum Scale 自帶管理功能，提供簡單易用的圖形界面、操作簡便，原有的很多需要人工干預(yù)的操作變?yōu)樽詣?dòng)完成，在降低管理難度的同時(shí)，提升了數(shù)據(jù)安全性。

最后，數(shù)據(jù)自動(dòng)分層，降低存儲(chǔ)成本。依托 IBM Spectrum Scale 統(tǒng)一管理磁盤和磁帶，實(shí)現(xiàn)多樣的擴(kuò)容方式和數(shù)據(jù)自動(dòng)分層，把冷數(shù)據(jù)如訪問量不高的大文件自動(dòng)地歸檔到磁帶系統(tǒng)中，形成低成本的長期存儲(chǔ)池，且磁帶數(shù)據(jù)實(shí)時(shí)隨機(jī)讀取，冷數(shù)據(jù)存儲(chǔ)降低了大約 80% 的成本，同時(shí)滿足合規(guī)需求。

降本增效

最后一個(gè)故事是為頭部的互聯(lián)網(wǎng)企業(yè)降低成本。百度是國內(nèi)一家著名的互聯(lián)網(wǎng)高科技企業(yè)，提供百度搜索等諸多服務(wù)。作為全球領(lǐng)先的AI公司，百度擁有大量的數(shù)據(jù)，有的來自百度智能云的對(duì)象數(shù)據(jù)，有的來自搜索，還有的來自自動(dòng)駕駛等。這些數(shù)據(jù)大都是非結(jié)構(gòu)化數(shù)據(jù)，有些數(shù)據(jù)已經(jīng)被加工使用過，數(shù)據(jù)的價(jià)值密度不高，如何安全存儲(chǔ)這些低價(jià)值的海量數(shù)據(jù)，降低數(shù)據(jù)存儲(chǔ)的成本，是百度面臨的一個(gè)挑戰(zhàn)。百度智能云冷數(shù)據(jù)存儲(chǔ)項(xiàng)目為百度提供分布式磁帶數(shù)據(jù)湖、YB級(jí)存儲(chǔ)容量、數(shù)據(jù)分層存儲(chǔ)的能力。項(xiàng)目無縫對(duì)接百度現(xiàn)有框架，統(tǒng)一上層應(yīng)用數(shù)據(jù)訪問接口，對(duì)內(nèi)滿足百度搜索、無人車等部門的需求，對(duì)外滿足客戶在大數(shù)據(jù)、物聯(lián)網(wǎng)、智能家居、石油勘探等場景下的需求。該項(xiàng)目的價(jià)值主要包括：

第一，它提供了超大的EB級(jí)數(shù)據(jù)規(guī)模，并且規(guī)模還在以每年10萬盤磁帶的速度增長

第二，是提供了便捷高速安全的海量數(shù)據(jù)湖，通過IBM的軟件定義磁帶技術(shù)，可以統(tǒng)一的為前端不同業(yè)務(wù)提供各種存儲(chǔ)訪問接口，簡化了使用；并結(jié)合高性能閃存、磁盤和磁帶實(shí)現(xiàn)透明的數(shù)據(jù)分層存儲(chǔ)，提高了數(shù)據(jù)訪問性能；結(jié)合磁帶天然的空氣隔離技術(shù)，有效的隔離了黑客入侵。

第三，為企業(yè)節(jié)能減排，整個(gè)數(shù)據(jù)中心功耗減低90%，存儲(chǔ)成本降低84%。

此外，三個(gè)故事中除了為企業(yè)解決了各種挑戰(zhàn)，都無一例外的都為他們降低了碳排放，推動(dòng)了商業(yè)和社會(huì)的雙重進(jìn)步，踐行了“科技向善”的初心?！翱萍枷蛏啤币恢笔荌BM遵循的價(jià)值觀之一。疫情爆發(fā)以來，IBM開放資源、攜手同盟并部署新興技術(shù)，致力于遏制新冠病毒的傳播。這包括免費(fèi)開放 8萬項(xiàng)專利、貢獻(xiàn) IBM Summit全球最強(qiáng)超級(jí)計(jì)算機(jī)、通過“代碼集結(jié)號(hào)”尋找最優(yōu)解決方案、發(fā)起“全球網(wǎng)格大同盟”倡議等9項(xiàng)實(shí)質(zhì)行動(dòng)。而IBM Summit背后存儲(chǔ)，正是基于ESS和Spectrum Scale的強(qiáng)大支持。

科技是一種能力，向善是一種選擇。IBM 愿用有溫度的科技力成為你最堅(jiān)實(shí)的后盾，走過艱難的今天，迎來美好的明天！