高效的海量時(shí)態(tài)數(shù)據(jù)計(jì)算！騰訊TDSQL全時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)論文入選VLDB

當(dāng)?shù)貢r(shí)間2019年8月26至30日,VLDB 2019會議在美國加利福尼亞召開,騰訊分布式數(shù)據(jù)庫TDSQL與中國人民大學(xué)最新聯(lián)合研究成果被VLDB 2019接收并將通過長文形式發(fā)表。VLDB是國際數(shù)據(jù)管理與數(shù)據(jù)庫領(lǐng)域頂尖的學(xué)術(shù)會議之一,這是繼去年騰訊TDSQL相似度計(jì)算的論文被VLDB錄用后,騰訊TDSQL再一次邁進(jìn)VLDB殿堂。

論文中,騰訊介紹了基于TDSQL擴(kuò)展而來的全時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)(T-TDSQL)。該系統(tǒng)在保證OLTP性能的前提下,提供了輕量級的全時(shí)態(tài)數(shù)據(jù)管理功能和全時(shí)態(tài)數(shù)據(jù)的事務(wù)處理能力,以及集當(dāng)前態(tài)數(shù)據(jù)于生產(chǎn)系統(tǒng)、集歷史態(tài)數(shù)據(jù)于分析型系統(tǒng)的集群架構(gòu),構(gòu)成了全時(shí)態(tài)數(shù)據(jù)的完備解決方案。

當(dāng)前態(tài)數(shù)據(jù)庫和歷史態(tài)數(shù)據(jù)都是具有價(jià)值的,并且全時(shí)態(tài)數(shù)據(jù)為數(shù)據(jù)安全、數(shù)據(jù)重演、數(shù)據(jù)挖掘和AI技術(shù)的施展提供了物理基礎(chǔ),還可以進(jìn)一步建立數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系以實(shí)現(xiàn)“數(shù)據(jù)血統(tǒng)”的邏輯等,這使得TDSQL具備了在海量全時(shí)態(tài)數(shù)據(jù)上的分析計(jì)算能力。

一般主流數(shù)據(jù)庫由于技術(shù)復(fù)雜度原因,不會保存歷史態(tài)數(shù)據(jù),丟棄了有價(jià)值的歷史態(tài)數(shù)據(jù),這成為許多企業(yè)機(jī)構(gòu)數(shù)字化時(shí)代面臨的痛點(diǎn)。騰訊分布式數(shù)據(jù)庫TDSQL推出的具備海量時(shí)態(tài)數(shù)據(jù)計(jì)算能力的解決方案T-TDSQL,突破在于具備全時(shí)態(tài)數(shù)據(jù)模型,全時(shí)態(tài)數(shù)據(jù)存儲、查詢、計(jì)算等特性,并在保持全局一致性的基礎(chǔ)上擁有高效的性能,真正實(shí)現(xiàn)為數(shù)據(jù)賦能。

據(jù)了解,論文提出了一種拓展的全時(shí)態(tài)數(shù)據(jù)模型,并提供了內(nèi)建的全時(shí)態(tài)數(shù)據(jù)庫解決方案,在針對TDSQL進(jìn)行大量優(yōu)化后,最終實(shí)現(xiàn)TDSQL全時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)。通過引入異步數(shù)據(jù)遷移、增量歷史數(shù)據(jù)管理、原生全時(shí)態(tài)查詢執(zhí)行器等策略,使得該解決方案可實(shí)現(xiàn)輕量且高效的全時(shí)態(tài)數(shù)據(jù)管理計(jì)算。

通過TPCC測試基準(zhǔn),基于TDSQL實(shí)現(xiàn)的全時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)的系統(tǒng)性能相較于原始TDSQL下降率均值不到6%,領(lǐng)先于其他基于傳統(tǒng)關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)的時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)。另外,基于真實(shí)的批處理業(yè)務(wù)場景實(shí)驗(yàn)結(jié)果顯示,騰訊全時(shí)態(tài)數(shù)據(jù)庫系統(tǒng)在簡化業(yè)務(wù)應(yīng)用開發(fā)的同時(shí),可以縮短近一半的業(yè)務(wù)執(zhí)行時(shí)間。

更重要的是,該解決方案具有很強(qiáng)的通用性,可以方便地引入到其他數(shù)據(jù)庫系統(tǒng)中。

圖 TPCC測試結(jié)果

圖 實(shí)際業(yè)務(wù)場景測試

TDSQL是騰訊TEG計(jì)費(fèi)平臺部自主研發(fā)的金融級分布式數(shù)據(jù)庫,十幾年來承載了騰訊近90%的金融、交易、計(jì)費(fèi)類業(yè)務(wù)。從2014年開始,TDSQL通過騰訊金融云平臺對外開放,提供穩(wěn)定可靠的云數(shù)據(jù)庫服務(wù),目前在公有云上服務(wù)金融機(jī)構(gòu)500余家,為中國銀行、微眾銀行在內(nèi)的超過44家銀行及政企機(jī)構(gòu)提供專有云服務(wù)。

TDSQL一直致力于數(shù)據(jù)庫技術(shù)自主研發(fā)投入,在VLDB 2018上,騰訊TDSQL通過Short Paper展示了合作成果MSQL+ ,一個基于TDSQL的插件式近似查詢工具

https://mp.weixin.qq.com/s/BZZOH20NfRyCltPkl7Q7_Q。今年是TDSQL連續(xù)第二年參加VLDB,并向?qū)W界貢獻(xiàn)領(lǐng)先的研究成果。同時(shí),騰訊TDSQL持續(xù)通過騰訊高校合作犀牛鳥科研專項(xiàng)、高校聯(lián)合實(shí)驗(yàn)室等平臺與學(xué)界建立科研合作,推動技術(shù)創(chuàng)新。本次入選論文也是基于與人大長期高校合作產(chǎn)出的優(yōu)秀成果。

在不斷提升性能、完善配套服務(wù)之余,包括TDSQL在內(nèi)的騰訊云數(shù)據(jù)庫也一直秉承開放、共享的心態(tài)參與開源。未來,TDSQL將繼續(xù)加大技術(shù)投入,持續(xù)提升產(chǎn)品能力,助力企業(yè)數(shù)字化轉(zhuǎn)型升級。