雙向賦能：AI與數(shù)據(jù)庫的修行之道

在這個數(shù)據(jù)為王的時代，數(shù)據(jù)是人工智能的三大支柱之一，其重要性不言而喻。最近，OpenAI收購了數(shù)據(jù)庫初創(chuàng)公司Rockset，迅速引起了業(yè)內(nèi)外的廣泛關(guān)注。OpenAI早已在算法和計算能力方面遙遙領(lǐng)先，通過這次戰(zhàn)略性的收購，OpenAI將在其產(chǎn)品中融合Rockset的先進數(shù)據(jù)索引和查詢技術(shù)，幫助OpenAI將數(shù)據(jù)轉(zhuǎn)化為“可操作智能”。

現(xiàn)代數(shù)據(jù)庫與人工智能（AI）的融合，正如同一場席卷全球的技術(shù)革命，深刻地重塑著技術(shù)與產(chǎn)業(yè)的格局。

一方面，數(shù)據(jù)庫技術(shù)的技術(shù)迭代需要更好地支持人工智能應(yīng)用工作負責(zé)，比如向量數(shù)據(jù)庫，也就是DB for AI；另一方面人工智能技術(shù)也更好地讓數(shù)據(jù)庫運維更方便，實現(xiàn)自動化和智能化，也就是AI for DB。

在這一個變革過程中，數(shù)據(jù)庫產(chǎn)業(yè)正面臨諸多挑戰(zhàn)，比如海量數(shù)據(jù)高性能和大并發(fā)、大量數(shù)據(jù)庫實例智能優(yōu)化、保障數(shù)據(jù)安全防篡改的防護等。面對這種情況，企業(yè)如何通過技術(shù)創(chuàng)新和生態(tài)協(xié)同應(yīng)對挑戰(zhàn)并抓住其中的機遇呢？

作為數(shù)據(jù)庫領(lǐng)域的領(lǐng)頭羊，東方國信、PingCAP、云和恩墨通過自身的技術(shù)與產(chǎn)品實踐給出了他們的答案，同時他們與英特爾的協(xié)同創(chuàng)新，也讓我們看到了數(shù)據(jù)庫生態(tài)的蓬勃生機。

新需求催生新挑戰(zhàn)

在AI大模型時代，由于數(shù)據(jù)庫的使用人數(shù)和數(shù)據(jù)量的爆炸性增長，數(shù)據(jù)庫系統(tǒng)的并發(fā)度會極大提升。云和恩墨聯(lián)合創(chuàng)始人兼CTO楊廷琨強調(diào)，數(shù)據(jù)量爆發(fā)性增長帶來壓力的同時，硬件技術(shù)的快速發(fā)展也促進了算力提升，為提升處理能力和性能提供了可能性。這時候，數(shù)據(jù)庫廠商需從兩方面著手應(yīng)對：一方面增強單機性能，另一方面通過架構(gòu)設(shè)計實現(xiàn)平滑擴展，以滿足海量數(shù)據(jù)的處理需求。

同時，數(shù)據(jù)量的爆炸性增長也會帶來極大的數(shù)據(jù)冗余。在此挑戰(zhàn)下，用戶從需求側(cè)又提出了很多新的要求，東方國信副總裁兼CTO查禮表示：用戶往往會希望數(shù)倉既能做數(shù)據(jù)加工，又能做分析和查詢，這要求數(shù)據(jù)庫系統(tǒng)具有高度靈活性和多功能性。

數(shù)據(jù)來源多樣化和用戶需求復(fù)雜化催生了對硬件越來越高的需求，數(shù)據(jù)庫要保持高性能、高穩(wěn)定性，開發(fā)和運維人員又需要簡化數(shù)據(jù)庫的使用，這構(gòu)成了一種“悖論”。

為解決數(shù)據(jù)庫行業(yè)“既要、又要”的問題，越來越多的數(shù)據(jù)技術(shù)公司讓AI“入局”，讓數(shù)據(jù)庫越跑越“聰明”。PingCAP服務(wù)總經(jīng)理林景旭表示，他們正探索利用AI技術(shù)增強數(shù)據(jù)庫功能，同時簡化用戶操作。作為一家分布式數(shù)據(jù)庫廠商，PingCAP提供的開源分布式數(shù)據(jù)產(chǎn)品與解決方案，通過分布式數(shù)據(jù)庫架構(gòu)，實現(xiàn)計算和存儲分離，以動態(tài)擴展?jié)M足不同用戶需求，這其中便可以通過AI算法來優(yōu)化資源使用和性能評判。

數(shù)據(jù)庫產(chǎn)業(yè)需要不斷創(chuàng)新，開發(fā)更加高效、可靠、智能的數(shù)據(jù)庫技術(shù)，才能滿足新需求的挑戰(zhàn)。同時，數(shù)據(jù)庫產(chǎn)業(yè)鏈也需要緊密合作，共同推動數(shù)據(jù)庫技術(shù)的發(fā)展，為數(shù)字經(jīng)濟的發(fā)展提供更加堅實的基礎(chǔ)。

生態(tài)協(xié)同推動產(chǎn)業(yè)變革

數(shù)據(jù)庫產(chǎn)業(yè)面臨的挑戰(zhàn)是多方面的，這些挑戰(zhàn)并非單個企業(yè)能夠獨自解決，需要整個產(chǎn)業(yè)的協(xié)同合作，才能共同應(yīng)對挑戰(zhàn)，并抓住其中的機遇。

憑借先進的處理器技術(shù)、開源合作策略以及對客戶需求的深刻理解，英特爾與數(shù)據(jù)庫領(lǐng)域的合作伙伴一起構(gòu)建了一個開源開放、合作共贏的生態(tài)環(huán)境，助力數(shù)據(jù)庫技術(shù)的持續(xù)創(chuàng)新和應(yīng)用落地。

英特爾中國云創(chuàng)中心技術(shù)總經(jīng)理張曉軍介紹說，第四代和第五代英特爾?? 至強? 可擴展處理器內(nèi)置了多項面向數(shù)據(jù)庫優(yōu)化的技術(shù)，例如英特爾? QAT（英特爾? 數(shù)據(jù)保護與壓縮技術(shù)）用于數(shù)據(jù)壓縮解壓縮，以及英特爾? IAA（英特爾? 存內(nèi)分析加速器）加速數(shù)據(jù)分析。在數(shù)據(jù)安全方面，英特爾也能通過英特爾? TDX（英特爾? 信任域擴展）和SGX（英特爾? 軟件防護擴展）為使用中的數(shù)據(jù)提供端到端硬件級防護能力。

此外英特爾至強6處理器已于近期發(fā)布，提供了兩種不同的 CPU 微架構(gòu)版本，分別為性能核 (P-core) 和能效核(E-core)，讓多種工作負載的性能和能效表現(xiàn)再創(chuàng)新高。其全新功能和內(nèi)置加速器為目標工作負載帶來進一步助力，實現(xiàn)了更高的性能和能效。

基于英特爾? 架構(gòu)的加速器與軟件工具

眾多的合作伙伴正在借助至強處理器和加速器及軟件工具增強自身的產(chǎn)品競爭力。

比如PingCAP推出的TiDB開源分布式數(shù)據(jù)庫就得益于第四代英特爾? 至強? 可擴展處理器卓越的代際性能，其數(shù)據(jù)庫的只讀性能與讀寫性能分別達到基準配置的1.62倍與1.43倍。

此外TiDB利用至強?? 可擴展處理器搭載的英特爾?? IAA提供的出色吞吐量壓縮和解壓縮功能，在不影響性能的前提下，提升了數(shù)據(jù)壓縮率，節(jié)約了存儲空間。PingCAP采用英特爾?? IAA代替LZ4之后，TiDB壓縮率為LZ4無損壓縮算法的1.4倍。

并結(jié)合CPU的迭代，性能提升可達到原配置的1.56倍 ，有助于客戶化解數(shù)據(jù)壓縮所帶來的性能困擾。

雖然硬件性能的提升為數(shù)據(jù)庫處理海量數(shù)據(jù)提供了基礎(chǔ)，但要真正發(fā)揮這些算力，需要對數(shù)據(jù)庫內(nèi)核進行深度優(yōu)化。云和恩墨通過改進數(shù)據(jù)庫內(nèi)核，使之更好地適應(yīng)現(xiàn)代硬件，如多核CPU、大內(nèi)存和高速IO子系統(tǒng)，從而實現(xiàn)單機性能的顯著提升。

根據(jù)其透露的測試結(jié)果，在一顆至強?? 雙路服務(wù)器架構(gòu)上，以50G內(nèi)存配置，再加上一個NVMe的SSD閃存，云和恩墨達到了700萬TPCC的指標，可以說是極大提高了單機能力。

東方國信適用于超大規(guī)模數(shù)據(jù)存儲和在線分析的大數(shù)據(jù) BEH平臺企業(yè)版通過集成Gluten與Velox Backend向量化執(zhí)行引擎，為Spark注入了原生矢量化執(zhí)行的能力，同時結(jié)合第四代英特爾? 至強? 可擴展處理器，以及處理器集成的英特爾? QAT加速器，顯著優(yōu)化了Spark批處理計算、SparkSQL計算、SQL查詢服務(wù)的執(zhí)行效率。經(jīng)測試，在相同硬件環(huán)境下，配合英特爾? QAT的加成，Spark計算性能可提升高達 2.9倍。

除了硬件之外，英特爾還強化了在軟件及數(shù)據(jù)庫生態(tài)方面的投入。張曉軍還強調(diào)了英特爾在開源領(lǐng)域的貢獻，如Apache社區(qū)的Gluten項目，已經(jīng)在很多客戶系統(tǒng)里得到了廣泛應(yīng)用，相比傳統(tǒng)的Spark，性能可以提高2-3倍，如果其運行在英特爾的硬件上預(yù)計取得更優(yōu)性能，顯著提升大數(shù)據(jù)處理效率。·

數(shù)據(jù)庫與AI深度融合

隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)量及系統(tǒng)數(shù)量都呈指數(shù)級增長，數(shù)據(jù)類型也由結(jié)構(gòu)化數(shù)據(jù)逐漸演變成了非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這就對數(shù)據(jù)庫系統(tǒng)的穩(wěn)定性和能力提出了更高的要求，數(shù)據(jù)庫技術(shù)和人工智能技術(shù)相結(jié)合成為當前熱門的研究主題之一。

在AI時代，數(shù)據(jù)已成為驅(qū)動企業(yè)發(fā)展的核心要素，而數(shù)據(jù)庫作為存儲、管理和分析數(shù)據(jù)的重要基礎(chǔ)設(shè)施，與AI技術(shù)的深度融合將是大勢所趨。這種融合不僅能夠提升數(shù)據(jù)庫的性能和智能化水平，還能夠推動AI技術(shù)的應(yīng)用落地。

數(shù)據(jù)庫廠商在不同維度上探索和應(yīng)用AI，東方國信正在利用AI技術(shù)，尤其是在智能取數(shù)方面，通過自然語言處理生成SQL語句，提高數(shù)據(jù)提取的靈活性和效率。同時，他們也在探索智能建倉，嘗試通過AI技術(shù)自動化數(shù)據(jù)倉庫的構(gòu)建和維護流程，旨在實現(xiàn)數(shù)據(jù)倉庫的自動化和智能化。

查禮表示，公司正積極研發(fā)解決方案，旨在通過AI輔助減少人工介入，提高效率，預(yù)計通過AI技術(shù)的引入，數(shù)倉維護成本能降低60%。

PingCAP利用AI算法進行資源管理，讓數(shù)據(jù)庫更適應(yīng)復(fù)雜多變的業(yè)務(wù)場景。林景旭強調(diào)，通過集成AI技術(shù)，比如利用AI優(yōu)化數(shù)據(jù)庫內(nèi)部管理，提升數(shù)據(jù)庫本身的智能水平，使其在滿足復(fù)雜業(yè)務(wù)場景的同時，降低使用門檻。這意味著數(shù)據(jù)庫不僅要有強大的數(shù)據(jù)處理能力，還需具備自我管理和優(yōu)化的能力，確保在面對日益復(fù)雜的業(yè)務(wù)需求時，能更加自主、高效地運行。

云和恩墨則推動自身“AI for DB”和“DB for AI”的雙向促進，楊廷琨指出，云和恩墨利用AI提升數(shù)據(jù)庫性能，尤其是在數(shù)據(jù)庫智能資源管理、智能監(jiān)控、智能根因追蹤、智能參數(shù)調(diào)優(yōu)、SQL智能優(yōu)化以及自動駕駛等方面的應(yīng)用潛能。

結(jié)語

現(xiàn)代數(shù)據(jù)庫與人工智能的結(jié)合不僅對處理能力、架構(gòu)靈活性和用戶體驗提出了更高要求，也為數(shù)據(jù)庫產(chǎn)業(yè)帶來了前所未有的發(fā)展機遇。

隨著技術(shù)的不斷進步和生態(tài)合作的深化，未來數(shù)據(jù)庫將更加智能、靈活和強大，為數(shù)字經(jīng)濟的發(fā)展提供堅實的基礎(chǔ)。英特爾與數(shù)據(jù)庫領(lǐng)域的合作伙伴將一起共同推動數(shù)據(jù)庫產(chǎn)業(yè)向智能化、高效化轉(zhuǎn)型，滿足客戶的業(yè)務(wù)創(chuàng)新需求。