一座“超級工廠”：讓中國沒有流不通的數(shù)據(jù)

新春伊始，中國各個行業(yè)、領(lǐng)域都在關(guān)注一個熱詞：新質(zhì)生產(chǎn)力。

新質(zhì)生產(chǎn)力代表著一種生產(chǎn)力的躍遷，意思是“以科技創(chuàng)新發(fā)揮主導(dǎo)作用的生產(chǎn)力”。簡單來說，就是新興科技催生而來的顛覆性發(fā)展引擎。尤其在這個萬物互聯(lián)的數(shù)字時代，發(fā)展這種更具融合性、更體現(xiàn)革新內(nèi)涵的生產(chǎn)力質(zhì)態(tài)，是企業(yè)與行業(yè)的微觀訴求，同時也是地區(qū)與國家的宏觀訴求。

如何才能獲得新質(zhì)生產(chǎn)力，是千行萬業(yè)共同面對的時代考題。

想要回答這道考題，就需要認(rèn)識一個基本邏輯：生產(chǎn)力的迭代是人類文明發(fā)展的內(nèi)生引擎，其來自對生產(chǎn)要素的有效激活，而新質(zhì)生產(chǎn)力的來源，就要依靠對新型生產(chǎn)要素的激活。

提到新生產(chǎn)要素，一個關(guān)鍵詞將映入眼簾，這就是“數(shù)據(jù)要素”。

與傳統(tǒng)生產(chǎn)活動消耗自然資源不同，數(shù)字經(jīng)濟(jì)的發(fā)展消耗的是“數(shù)據(jù)要素”。在2019年，相關(guān)政策明確指出了“健全勞動、資本、土地、知識、技術(shù)、管理、數(shù)據(jù)等生產(chǎn)要素由市場評價(jià)貢獻(xiàn)、按貢獻(xiàn)決定報(bào)酬的機(jī)制”，標(biāo)志著數(shù)據(jù)要素正式投入到中國經(jīng)濟(jì)的產(chǎn)出與分配階段，成為繼勞動力、土地、資本、技術(shù)之后的“第五生產(chǎn)要素”。

去年，國家數(shù)據(jù)局的成立受到全球矚目。隨后在年底，國家數(shù)據(jù)局等17部門聯(lián)合印發(fā)了《“數(shù)據(jù)要素×”三年行動計(jì)劃（2024—2026年）》，明確開展“數(shù)據(jù)要素×科技創(chuàng)新”行動。探索激活數(shù)據(jù)要素價(jià)值、獲得新質(zhì)生產(chǎn)力的方法，成為今年國民經(jīng)濟(jì)與企業(yè)發(fā)展最重要的議題之一。

然而在實(shí)踐中，企業(yè)經(jīng)常發(fā)現(xiàn)數(shù)據(jù)并不匱乏，缺乏的是管理、使用與流通。粗獷而富有生命力的數(shù)據(jù)散落在田野間蓄勢待發(fā)，但想讓它們形成數(shù)據(jù)資產(chǎn)、變成真實(shí)的生產(chǎn)力，還需要一座座現(xiàn)代化的“工廠”來完成。

2月20日，伴隨著萬千企業(yè)新春開工的音信，華為舉辦了2024數(shù)據(jù)存儲新春新品發(fā)布會。期間，華為率先發(fā)布了業(yè)界全新的數(shù)據(jù)湖解決方案。

這個解決方案，就是一座面向數(shù)據(jù)要素的超級工廠，它可以把大量原始數(shù)據(jù)進(jìn)行智能加工，從而滿足數(shù)據(jù)產(chǎn)品的多樣化需求，解鎖了邁向數(shù)據(jù)資產(chǎn)化進(jìn)程的層層桎梏，讓數(shù)據(jù)煥發(fā)出勃勃生機(jī)。

屬于中國大地的新質(zhì)生產(chǎn)力從何而來？在這個AI技術(shù)喚醒每一比特?cái)?shù)據(jù)的黃金年代，只要讓數(shù)據(jù)要素看得清、理得順、用得好、流通好，那么千行萬業(yè)自然就有了蓬勃新生的信心與底氣。

從數(shù)據(jù)要素，到數(shù)據(jù)資產(chǎn)：最壯闊的時代機(jī)遇

近幾年，全球范圍內(nèi)迎來了以AI大模型為代表的智能技術(shù)大爆發(fā)。智能的來源是對數(shù)據(jù)的洞察與學(xué)習(xí)，因此數(shù)據(jù)要素的價(jià)值正在經(jīng)歷跨世代的升級，各行業(yè)都在爆發(fā)出巨大的數(shù)據(jù)要素紅利。

舉例來看，華為盤古大模型通過對超過300PB全球天氣歷史數(shù)據(jù)，以及近10年超過70PB的衛(wèi)星降水歷史數(shù)據(jù)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)了降雨預(yù)測準(zhǔn)確率提升20%，從而將實(shí)現(xiàn)在全國范圍內(nèi)每年減少百億元的暴雨經(jīng)濟(jì)損失。

某大型銀行，通過將53年內(nèi)積累的超100PB數(shù)據(jù)，以及每天實(shí)時產(chǎn)生的300TB數(shù)據(jù)進(jìn)行融合分析，實(shí)現(xiàn)了降低約5%的不良貸款率，每年減少直接損失約5億元。

這些數(shù)據(jù)要素帶來的直觀紅利，意味著巨大的產(chǎn)業(yè)機(jī)遇。這也讓數(shù)據(jù)要素開始向數(shù)據(jù)資產(chǎn)進(jìn)行升級，成為企業(yè)核心資產(chǎn)的組成部分。同時我們知道，一種生產(chǎn)要素的資產(chǎn)化，要求其具備可量化、可估值、可流通的特性。但在數(shù)據(jù)要素的生產(chǎn)與流通實(shí)踐里，企業(yè)還是需要大量面對諸如數(shù)據(jù)管理困難、認(rèn)證授權(quán)復(fù)雜、流通安全難以保障等問題。

簡言之，高速成長的數(shù)據(jù)要素，正在成為這個時代機(jī)遇最大、價(jià)值提升最為迅猛的生產(chǎn)要素。數(shù)據(jù)資產(chǎn)化，是每家企業(yè)都必須關(guān)注的方向，而讓這一切機(jī)遇成真的前提，是掃清數(shù)據(jù)資產(chǎn)化進(jìn)程中的挑戰(zhàn)。

只有數(shù)據(jù)無礙，企業(yè)無憂，數(shù)據(jù)要素才能真正變?yōu)閿?shù)據(jù)資產(chǎn)。

從野蠻生長，到工業(yè)化體系：建立數(shù)據(jù)要素市場面臨的挑戰(zhàn)

為什么提起數(shù)據(jù)資產(chǎn)化時，很多企業(yè)會覺得為時過早，或者障礙重重？

根據(jù)國家工業(yè)信息安全發(fā)展研究中心發(fā)布的數(shù)據(jù)，在2022年至2025年，中國數(shù)據(jù)要素市場復(fù)合增速將達(dá)到28.99％，全國數(shù)據(jù)產(chǎn)量將達(dá)到8.1ZB，位居全球第二。中國已經(jīng)成為名副其實(shí)的“數(shù)據(jù)大國”，但從數(shù)據(jù)大國到數(shù)據(jù)強(qiáng)國，是千行萬業(yè)普遍面臨著數(shù)據(jù)質(zhì)量不高、流通機(jī)制不暢、應(yīng)用潛力釋放不足等問題。

在企業(yè)的實(shí)踐中，很容易發(fā)現(xiàn)數(shù)據(jù)并不像土地、資金、技術(shù)專利等傳統(tǒng)生產(chǎn)要素那樣清晰和標(biāo)準(zhǔn)化。絕大多數(shù)產(chǎn)業(yè)數(shù)據(jù)，都是企業(yè)在生產(chǎn)實(shí)踐中自然形成的，從收集到加工、流通都處于野蠻生長狀態(tài)。具體表現(xiàn)為數(shù)據(jù)要素的權(quán)屬判斷更為復(fù)雜，聚集和歸檔非常困難，價(jià)值密度難有標(biāo)準(zhǔn)，甚至隱私泄露、數(shù)據(jù)錯用等問題可能會給企業(yè)帶來負(fù)面影響。將這些直觀的挑戰(zhàn)歸類整理，華為在發(fā)布會中提到，當(dāng)前在建立數(shù)據(jù)要素市場體系過程中，主要需面對四大難點(diǎn)：

1.數(shù)據(jù)看不清。

大中型企業(yè)、連鎖企業(yè)、跨國企業(yè)經(jīng)常會面對分散在各地的海量數(shù)據(jù)。這些數(shù)據(jù)標(biāo)準(zhǔn)不一、格式多樣、源頭散落各地，從而導(dǎo)致企業(yè)事實(shí)上很難全盤縱覽整體性數(shù)據(jù)。與此同時，數(shù)據(jù)盤點(diǎn)依賴人工操作，導(dǎo)致盤點(diǎn)成本大、訛誤多，進(jìn)一步加重了數(shù)據(jù)“看不清”的問題。

2.數(shù)據(jù)理不順。

數(shù)據(jù)收集之后，需要整理分類。但目前大量企業(yè)的數(shù)據(jù)分類依賴人工，這就導(dǎo)致分類標(biāo)準(zhǔn)難以統(tǒng)一，數(shù)據(jù)容易變得雜亂無章。當(dāng)前階段，中國企業(yè)數(shù)據(jù)分類依賴人工比例超過了60%，在海量數(shù)據(jù)時代，提升數(shù)據(jù)分類自動化水平迫在眉睫。

3.數(shù)據(jù)用不好。

在收集與分類之后，數(shù)據(jù)需要真正加工成數(shù)據(jù)產(chǎn)品才能發(fā)揮其價(jià)值。但在這個階段，企業(yè)往往面臨數(shù)據(jù)應(yīng)用方式較為傳統(tǒng)，數(shù)據(jù)加工成本過大等問題。比如說，用自身數(shù)據(jù)訓(xùn)練AI大模型是企業(yè)非常關(guān)注的領(lǐng)域。但在AI訓(xùn)練之前，需要大量時間進(jìn)行數(shù)據(jù)清洗與標(biāo)注，這個成本是很多企業(yè)難以承受的。

4.數(shù)據(jù)流不動。

數(shù)據(jù)資產(chǎn)化的最后一環(huán)在于數(shù)據(jù)的高效流通。但在這個階段，企業(yè)一方面是“不敢流”，需要承擔(dān)安全與合規(guī)方面的風(fēng)險(xiǎn)，一旦流通起來就可能面臨“隱私裸奔”的危機(jī)。另一方面是“流得慢”，數(shù)據(jù)流通過程中所需的存、算、網(wǎng)等數(shù)字基礎(chǔ)設(shè)施開支也是擋在企業(yè)面前的一座大山。這導(dǎo)致很多企業(yè)在數(shù)據(jù)流通時，還在選擇快遞硬盤這種原始且不安全的方法。

這四大挑戰(zhàn)，關(guān)注到了數(shù)據(jù)從生成、管理到流通的每一個環(huán)節(jié)，可以說是所有企業(yè)都將面對的數(shù)據(jù)資產(chǎn)化難題。如何才能把千行萬業(yè)野蠻生長的數(shù)據(jù)，變成精密、可靠、標(biāo)準(zhǔn)化的工業(yè)品，是數(shù)據(jù)要素時代的核心考題。

為此，華為希望搭建一座“超級工廠”，來幫助海量數(shù)據(jù)走向工業(yè)化的全新時代。

從千行萬業(yè)，到一座“超級工廠”：華為數(shù)據(jù)湖解決方案

千行萬業(yè)，都需要加速數(shù)據(jù)資產(chǎn)化進(jìn)程。這也意味著千行萬業(yè)的數(shù)據(jù)，也都需要這樣一座“超級工廠”。它像流水線一樣完成原始數(shù)據(jù)的加工、盤點(diǎn)、分類，完成一站式處理，并且構(gòu)建可靠的流通傳輸環(huán)境，讓數(shù)據(jù)要素從野蠻粗放走向清晰規(guī)整。

這座工廠，就是華為基于GFS打造的數(shù)據(jù)湖解決方案。GFS（Global File System）是指全局文件系統(tǒng)，它作為整個方案的靈魂組件與驅(qū)動引擎，與上層的數(shù)據(jù)服務(wù)層和下層的數(shù)據(jù)存儲層協(xié)同，構(gòu)筑了一個完善而高效的數(shù)據(jù)編織層，以全局命名空間，幫助數(shù)據(jù)資產(chǎn)實(shí)現(xiàn)可視、可管、可用。

(華為分布式存儲領(lǐng)域總裁袁遠(yuǎn))

具體而言，為了應(yīng)對數(shù)據(jù)資產(chǎn)化進(jìn)程中的四大挑戰(zhàn)，華為數(shù)據(jù)湖解決方案包含這樣一些技術(shù)創(chuàng)新特性：

首先，是數(shù)據(jù)資產(chǎn)一張圖。

華為數(shù)據(jù)湖解決方案可以實(shí)現(xiàn)跨地域、跨站點(diǎn)、跨廠家的統(tǒng)一元數(shù)據(jù)納管，同時實(shí)現(xiàn)不同格式、協(xié)議的數(shù)據(jù)均無損地統(tǒng)一入湖。除此之外，為了應(yīng)對遠(yuǎn)數(shù)據(jù)掃描上報(bào)過程中的低效率、重人工問題，數(shù)據(jù)湖解決方案還能將增量數(shù)據(jù)在業(yè)務(wù)側(cè)無感知地實(shí)時更新，從而橫跨時間、空間的限制，幫助企業(yè)將所有數(shù)據(jù)盡收眼底。

某世界500強(qiáng)企業(yè)，需要面對來自全球超過200家子公司，130多家全球代表處的數(shù)據(jù)匯總，導(dǎo)致經(jīng)營報(bào)告變成了巨大工程。通過應(yīng)用全局資產(chǎn)一張圖，這家公司將超過100萬張表格進(jìn)行了高效地盤點(diǎn)、注冊，從而使月度報(bào)告生成時間從18天縮短為3天，年度報(bào)告生成時間從三周縮短至一周，大幅提升了經(jīng)營決策效率，真正做到了全球數(shù)據(jù)一覽無遺。

其次，是智能數(shù)據(jù)目錄。

面對數(shù)據(jù)的整理、分類難題，華為數(shù)據(jù)湖解決方案提供智能數(shù)據(jù)目錄能力，從而實(shí)現(xiàn)自動化的數(shù)據(jù)標(biāo)簽與聚合，滿足數(shù)據(jù)的高效檢索與呈現(xiàn)。從應(yīng)用場景上看，智能數(shù)據(jù)目錄有兩類應(yīng)用。一是進(jìn)行數(shù)據(jù)合規(guī)的自動分級，對敏感數(shù)據(jù)、隱私信息進(jìn)行自動識別。二是數(shù)據(jù)內(nèi)容的自動分類，將數(shù)據(jù)按照業(yè)務(wù)需求進(jìn)行智能的屬性化標(biāo)簽處理。

某海外企業(yè)在進(jìn)行AI質(zhì)檢實(shí)踐中，就應(yīng)用了智能數(shù)據(jù)目錄能力。通過自動化的數(shù)據(jù)標(biāo)簽與數(shù)據(jù)處理，將需要數(shù)天完成的數(shù)據(jù)處理時長縮短到了18分鐘，相關(guān)服務(wù)器數(shù)量也減少了一半，全方位提升了數(shù)據(jù)整理效率，降低了相關(guān)成本。

最后，是通過構(gòu)建可信的數(shù)據(jù)交換空間，讓數(shù)據(jù)真正安全高效地流通。

華為數(shù)據(jù)湖解決方案提出了可信數(shù)據(jù)空間的概念。在這個空間里，企業(yè)可以通過合法性認(rèn)證、安全管控策略、全鏈路加解密、日志留痕等能力，實(shí)現(xiàn)數(shù)據(jù)的可信、可控和可追溯流轉(zhuǎn)，并支持第三方監(jiān)管與運(yùn)營，從而在數(shù)據(jù)流通雙方或者多方之間搭建了安全可信的數(shù)據(jù)要素通道。

針對數(shù)據(jù)流通效率低、成本高的問題，華為數(shù)據(jù)湖解決方案也提供了面向跨域訪問的數(shù)據(jù)智能緩存能力，訪問任何地域的數(shù)據(jù)都像訪問本地一樣高效。此外，在數(shù)據(jù)傳輸過程中提供2:1的無損壓縮能力，從而降低數(shù)據(jù)傳輸壓力，節(jié)省相關(guān)成本。

總之，華為數(shù)據(jù)湖解決方案這座為數(shù)據(jù)要素而生的“超級工廠”，蘊(yùn)含了針對數(shù)據(jù)資產(chǎn)化過程中每項(xiàng)挑戰(zhàn)的解題思路。

踏著數(shù)據(jù)資產(chǎn)化的腳步，一場引爆數(shù)字時代的熊熊烈火便至此燃燒起來，迸發(fā)出超乎想象的巨大能量。

從實(shí)踐，到未來：讓中國沒有流不通的數(shù)據(jù)

從當(dāng)前階段企業(yè)的數(shù)據(jù)資產(chǎn)化實(shí)踐，到未來更廣闊的數(shù)據(jù)市場構(gòu)建，可以看到華為數(shù)據(jù)湖解決方案將展現(xiàn)巨大的潛力，最終推動新質(zhì)生產(chǎn)力在每個行業(yè)、每家企業(yè)中涌現(xiàn)出來。事實(shí)上，在當(dāng)前的數(shù)據(jù)資產(chǎn)化實(shí)踐中，先行一步的數(shù)字化、智能化探索者們已從中獲益。

舉例來說，在某家大型銀行中，原本需要面對總行與分行之間、銀行同業(yè)之間缺乏安全、高效數(shù)據(jù)流通手段，導(dǎo)致業(yè)務(wù)上線慢，安全顧慮大的問題。

通過在總行、分行統(tǒng)一部署華為數(shù)據(jù)湖解決方案，該銀行實(shí)現(xiàn)了一系列數(shù)據(jù)要素的價(jià)值躍升。比如，通過可信數(shù)據(jù)空間與GFS的結(jié)合，銀行數(shù)據(jù)實(shí)現(xiàn)高效流通，并且全行數(shù)據(jù)使用違規(guī)的次數(shù)降低了80%，再比如，通過全局?jǐn)?shù)據(jù)可視、可管，這家銀行實(shí)現(xiàn)了全行一張圖，從而加速數(shù)據(jù)報(bào)表生產(chǎn)，并讓產(chǎn)品開發(fā)更加敏捷，新業(yè)務(wù)上線時間從1月縮短到1周。此外，通過GFS與華為OceanStor分布式存儲的結(jié)合，這家銀行在滿足多樣化業(yè)務(wù)負(fù)載、協(xié)議訴求的同時，通過熱、溫、冷數(shù)據(jù)智能分級實(shí)現(xiàn)了TCO下降30%。

這一案例不僅對金融行業(yè)具有參考價(jià)值，對于各個行業(yè)的數(shù)據(jù)資產(chǎn)化來說，都有積極的借鑒意義。

而望向更遠(yuǎn)的未來，華為將推動open-GFS開源計(jì)劃，面向伙伴及用戶開放包括異構(gòu)接入框架、全局視圖管理以及數(shù)據(jù)流動引擎等核心能力，從而完成更貼近行業(yè)的數(shù)據(jù)流通能力、加速數(shù)據(jù)資產(chǎn)化進(jìn)程，讓用戶免除后顧之憂。

如果說，農(nóng)業(yè)時代比拼土地，工業(yè)時代比拼勞動力和資本，信息時代比拼技術(shù)，那么未來企業(yè)邁出的每一個腳步、登上的每一層樓、跨過的每一座山峰，都嵌在那一次次數(shù)據(jù)涌動之中。誰能率先將數(shù)據(jù)納為生產(chǎn)要素，能從數(shù)據(jù)中汲取資產(chǎn)化價(jià)值，誰就能率先獲得智能時代的船票，激發(fā)出面向未來的新質(zhì)生產(chǎn)力。

而這一切的開端與前提，是數(shù)據(jù)要素走進(jìn)“工廠”。

在這座工廠的宏偉藍(lán)圖里，每一條歷史與實(shí)時數(shù)據(jù)都有其價(jià)值，每一個智能體都能被數(shù)據(jù)點(diǎn)燃。無垠的中國大地之上，將沒有流不通的數(shù)據(jù)。