軟硬件協(xié)同創(chuàng)新優(yōu)化打造高性能數(shù)據(jù)庫，超聚變和英特爾做了什么？

IDC近日發(fā)布的《全球數(shù)字化轉型支出指南》2023年V1版預測：到2026年，中國數(shù)字化轉型支出規(guī)模預計超過6,000億美元，五年復合增長率將達到17.9%，增速位于全球前列¹。面對海量、實時、在線的數(shù)據(jù)處理需求，分布式數(shù)據(jù)庫服務及數(shù)倉服務已經(jīng)成為企業(yè)數(shù)字化轉型的基礎設施之一。相比傳統(tǒng)架構，分布式數(shù)據(jù)庫具有更高的并發(fā)和更低的時延，可實現(xiàn)敏捷的擴展，幫助企業(yè)提升投資回報。但同時，隨著企業(yè)用戶的增長，以及業(yè)務的持續(xù)創(chuàng)新，分布式數(shù)據(jù)庫必須具備更高的性能水平，以在特定的 SLA 標準下處理數(shù)據(jù)，幫助企業(yè)應對數(shù)據(jù)爆發(fā)式增長帶來的挑戰(zhàn)，充分釋放數(shù)據(jù)價值。

作為國產(chǎn)化分布式數(shù)據(jù)庫的重要一員，超聚變數(shù)字技術有限公司（以下簡稱：超聚變）推出的 FusionDB 憑借高性能、簡單易 用、穩(wěn)定高可用、安全可靠等優(yōu)勢，已經(jīng)在眾多行業(yè)用戶中得到成功應用。目前，基于第四代英特爾 至強 可擴展處理器的FusionDB 數(shù)據(jù)庫解決方案，進一步釋放了在加速數(shù)據(jù)處理方面的潛能。同時，英特爾與超聚變緊密合作，基于英特爾 Open Analytic Toolkit 和英特爾 Quick Assist（英特爾 QAT）等技術對 FusionDB 數(shù)據(jù)庫進行了優(yōu)化，解決了數(shù)據(jù)庫在加速優(yōu)化索引訪問性能、物理備份性能、備份存儲空間占用以及總體擁有成本等方面面臨的瓶頸，打造了高性能數(shù)據(jù)庫系統(tǒng)，為用戶提供了流式、實時、離線、在線數(shù)據(jù)聚合等靈活的混合分析能力。

第四代英特爾 至強 可擴展處理器
及內(nèi)置加速器提供算力基座

為解決上述性能挑戰(zhàn)，進一步增強 FusionDB 數(shù)據(jù)庫的性能優(yōu)勢，超聚變與英特爾從硬件升級、軟件優(yōu)化等多方面進行了深入合作，打造了極具性能的分布式數(shù)據(jù)庫解決方案。

在硬件層面，超聚變選擇了搭載第四代英特爾 至強 可擴展處理器的數(shù)據(jù)庫服務器作為基礎驗證平臺。第四代英特爾 至強 可擴展處理器通過創(chuàng)新架構增加了每個時鐘周期的指令，每個插槽多達 60 個核心，支持 8 通道 DDR5 內(nèi)存，有效提升了內(nèi)存帶寬與速度，并通過 PCIe 5.0（80 個通道）實現(xiàn)了更高的 PCIe 帶寬提升。第四代英特爾 至強 可擴展處理器提供了出色性能和安全性，可根據(jù)用戶的業(yè)務需求進行擴展。

此外，第四代英特爾 至強 可擴展處理器內(nèi)置了多個加速器，諸如英特爾 In-Memory Analytics Accelerator（英特爾 IAA）、英特爾 高級矩陣擴展（英特爾 AMX）、英特爾Data Streaming Accelerator（英特爾 DSA）、英特爾 QAT 等高級硬件能力，能夠加速AI、數(shù)據(jù)分析、數(shù)據(jù)加解密等場景下的處理能力，滿足用戶的多樣化算力需求（圖1）。

協(xié)同開展軟件優(yōu)化
輕松突破索引訪問、端到端備份性能瓶頸

• 英特爾 Open Analytic Toolkit優(yōu)化布隆索引訪問性能

數(shù)據(jù)庫 Postgres 內(nèi)核默認使用 B-Tree 索引，但為了提升 FusionDB的索引性能，超聚變首先使用布隆索引替代 B-Tree 索引，實現(xiàn)了一定的性能提升。為進一步優(yōu)化布隆索引的訪問性能，超聚變通過英特爾 Open Analytic Toolkit 應用了 AVX512 這一重要特性，以使用處理器的單指令多數(shù)據(jù) (SIMD) 指令對索引過程進行矢量化，從而優(yōu)化性能。英特爾 高級矢量擴展 512（英特爾AVX-512）是一套創(chuàng)新的指令集，提升了指令的吞吐能力，能夠更好地應對龐大的數(shù)據(jù)量以及數(shù)據(jù)庫中高維數(shù)據(jù)所帶來的性能壓力。

在實際優(yōu)化過程中，超聚變利用英特爾 AVX-512 的矢量化方式，對 FusionDB 數(shù)據(jù)庫中創(chuàng)建索引和索引查詢的過程進行加速。在創(chuàng)建索引的過程中重點解決了數(shù)據(jù)哈希矢量化問題，從而實現(xiàn)了并行生成每列數(shù)據(jù)的布隆位圖。在索引查詢過程中實現(xiàn)了多路并行的布隆位圖比較，并支持變長布隆位圖。超聚變針對 FusionDB 數(shù)據(jù)庫索引執(zhí)行時間測試的數(shù)據(jù)顯示（圖2），在啟用英特爾 AVX-512 之后，索引性能最高提升1.67倍²。

• 英特爾 QAT幫助提升物理備份性能，大幅節(jié)約空間

物理備份是分布式數(shù)據(jù)庫的一個常用場景，為了提升備份效率，超聚變對于 FusionDB 數(shù)據(jù)庫備份緩存機制進行了優(yōu)化，將備份緩存從 8kb 頁面調(diào)整為 64kb 頁面，從而降低了緩存的增量，提高了吞吐率，更有效地發(fā)揮資源性能，大幅提升了全量備份和增量備份等性能。

為了進一步提升 FusionDB 數(shù)據(jù)庫備份效率，超聚變利用英特爾QATzip 對于 FusionDB 數(shù)據(jù)庫 gs_probackup 中原有的緩存機制進行優(yōu)化，在保證前向兼容的前提下，添加可通過參數(shù)配置大小的物理備份緩存，使得 CPU 能力得到充分的發(fā)揮，進一步提升了全量備份和增量備份性能（圖3）。英特爾 QAT 是英特爾面向高性能安全性、私鑰保護和壓縮/解壓縮等場景推出的一個硬件加速技術，能夠將相關負載從 CPU卸載到 QAT 中，有效提升應用程序和平臺的性能。第四代英特爾 至強 可擴展處理器集成了英特爾 QAT4.0，能夠更進一步釋放在私鑰保護和壓縮/解壓縮等場景的性能優(yōu)勢。

此外，超聚變還對比了當 NVMe 盤緩存大小均為 256KB，全量備份數(shù)據(jù)量均為 102 GB，并發(fā)數(shù)為 4 時的 QAT 與 lz4 壓縮性能比較。測試數(shù)據(jù)顯示，英特爾 QATzip 均能夠有效提升數(shù)據(jù)壓縮效率，提升數(shù)據(jù)備份恢復速度（圖4）。在使用英特爾 QATzip 之后，F(xiàn)usionDB 數(shù)據(jù)庫可以實現(xiàn) 50%⁵左右的壓縮率，進一步降低了對于存儲空間的占用，有助于降低存儲成本，提升數(shù)據(jù)庫系統(tǒng)的投資回報率。

全面賦能
超聚變FusionDB數(shù)據(jù)庫優(yōu)勢顯著

超聚變與英特爾的深度合作，解決了 FusionDB 數(shù)據(jù)庫面臨的多個瓶頸，在布隆數(shù)據(jù)索引、端到端文件備份等場景中提升了數(shù)據(jù)庫的性能表現(xiàn)，助力超聚變FusionDB 數(shù)據(jù)庫以更優(yōu)的性能、穩(wěn)定性、可用性為用戶提供服務。

首先，通過采用第四代英特爾 至強 可擴展處理器并使用英特爾Open Analytic Toolkit 進行軟件優(yōu)化，F(xiàn)usionDB 數(shù)據(jù)庫能夠加速索引訪問速度，更有效地應對大規(guī)模業(yè)務在吞吐、時延方面的挑戰(zhàn)，提升業(yè)務服務能力，高效支撐性能敏感型業(yè)務。

第二，通過利用英特爾 QAT 加速，F(xiàn)usionDB 數(shù)據(jù)庫可縮短備份恢復時間，降低業(yè)務遷移成本，減少業(yè)務備份中斷時間，同時還可通過英特爾 QAT 硬件引擎卸載 CPU 的壓縮任務，降低對系統(tǒng)性能的影響。

第三，在使用英特爾 QAT 加速壓縮之后，F(xiàn)usionDB 數(shù)據(jù)庫實現(xiàn)了更高的壓縮率，有助于節(jié)省存儲空間，降低支出。此外，超聚變提供了基于第四代英特爾 至強 可擴展處理器的 FusionDB 數(shù)據(jù)庫一體機解決方案，能夠實現(xiàn)更深入的集成與優(yōu)化，可以幫助客戶降低部署與調(diào)優(yōu)的時間成本。

在各行各業(yè)廣泛開展數(shù)字化轉型的背景下，英特爾致力于為用戶提供不同場景的解決方案。基于第四代英特爾 至強 可擴展處理器及其內(nèi)置加速器，用戶可以在 AI、分析、云和微服務、網(wǎng)絡、數(shù)據(jù)庫、存儲等類型的工作負載中獲得優(yōu)化的性能。通過與強大的生態(tài)系統(tǒng)相結合，第四代英特爾 至強 可擴展處理器能夠幫助用戶構建更加高效、安全的數(shù)據(jù)中心基礎設施，助力企業(yè)數(shù)字化轉型。