0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

OceanBase以7.07億tpmC的成績打破去年TPC-C基準測試紀錄?

lhl545545 ? 來源:雷鋒網(wǎng) ? 作者:雷鋒網(wǎng) ? 2020-09-14 09:55 ? 次閱讀

一直以來,在信息技術最核心的三大件“芯片操作系統(tǒng)、數(shù)據(jù)庫”上,市場格局穩(wěn)定,由英特爾、微軟、甲骨文等科技巨頭推動行業(yè)和技術發(fā)展。

老牌巨頭優(yōu)勢巨大,但在中國這個爆發(fā)式增長需求的市場,技術亟待更新突破。于是,以阿里為代表的科技公司,開始從零研發(fā),走上這條極其艱辛的自研技術創(chuàng)新之路。這其中,數(shù)據(jù)庫領域尤為艱難,技術挑戰(zhàn)大,研發(fā)成本和不確定性風險高,面臨太多的困難挑戰(zhàn)。

專注分布式關系數(shù)據(jù)庫的OceanBase團隊,甚至一度瀕臨解散。

而在2020年5月20日這天,作為支付寶完全自主研發(fā)的金融級分布式關系數(shù)據(jù)庫,OceanBase把名字赫然刻在了TPC組織的官網(wǎng)上,而緊隨其后的記錄還是自己(2019年10月創(chuàng)造過新紀錄)。

這一次,OceanBase再破世界記錄,性能分數(shù)首次突破億級大關達到7.07億tpmC,相比去年提升近11倍。注:tpmC值在國內(nèi)外被廣泛用于衡量計算機系統(tǒng)的事務處理能力,為“每分鐘內(nèi)系統(tǒng)處理的新訂單個數(shù)”的英文縮寫)

這標志著OceanBase成為全球最快數(shù)據(jù)庫,實現(xiàn)了數(shù)據(jù)庫這一基礎技術的革命性突破,也是自研技術對世界IT技術作出的重要貢獻。

OceanBase突破背后,一路艱辛,沒有捷徑。

一年二刷TPC-C榜單,OceanBase顛覆了什么?

首先認識TPC。TPC 是由數(shù)十家會員公司創(chuàng)建的非盈利組織,成立于1988年,總部設在美國,圖靈獎得主 Jim Gray 是奠基人。

TPC-C是全球最具公信力的聯(lián)機交易處理數(shù)據(jù)庫的功能與性能結合的測試標準,金融、電信、政府等關鍵領域的客戶一般參照 TPC-C 結果來衡量各個數(shù)據(jù)庫廠商的事務處理能力。通俗來講,TPC-C測試是對于商業(yè)數(shù)據(jù)庫想要證明自身實力的一個硬性門檻,被譽為“數(shù)據(jù)庫領域的世界杯”。

但是一直以來,TPC-C榜單都是老牌巨頭在競爭,尤其是Oracle、微軟和IBM為首的數(shù)據(jù)庫廠商和硬件廠商長期霸榜。

因為通過測試,確實太難了。無論是數(shù)據(jù)庫從業(yè)者還是高校教師,都夢想著排進這個榜單。

誕生于2010年的OceanBase最初是用在支付寶上,它又被稱為“超級會計師”,可以在一秒內(nèi)同時記數(shù)萬筆帳,并且不出一點錯。經(jīng)過長時間積累,2019年10月,OceanBase一舉打破Oracle“壟斷”9年之久的TPC-C評測的世界紀錄,tpmC高達6088萬之后,自研數(shù)據(jù)庫首次在世界舞臺上有了自己的聲量。

支付寶OceanBase再次登頂TPC-C榜單

而此次通過最新測試,OceanBase成為唯一超千個節(jié)點并通過TPC-C測試的分布式數(shù)據(jù)庫,成績較去年更勝一籌。更重磅的是,其性能分數(shù)首次突破億級大關達到7.07億tpmC,相比去年提升近11倍。

從關系數(shù)據(jù)庫的角度看,在這么大體量下,通過測試已經(jīng)非常困難,保持系統(tǒng)性能更加困難。1500多個數(shù)據(jù)庫節(jié)點,5000多萬個倉庫以及對應數(shù)量的客戶端,并進行8個多小時的持續(xù)壓測,對整個系統(tǒng)是極大的考驗。

而我們之所以說OceanBase實現(xiàn)了突破和顛覆,關鍵就在于其采用了新一代分布式設計技術,顛覆了傳統(tǒng)數(shù)據(jù)庫集中式處理技術架構。

如何理解?

一般而言,傳統(tǒng)數(shù)據(jù)庫只能通過提升單機性能來提升整體性能,難以滿足市場持續(xù)擴張的數(shù)據(jù)處理需求。OceanBase通過分布式擴展集群實現(xiàn)擴展能力的大幅提升,并通過分布式選舉技術、事務技術充分保證業(yè)務場景的一致性,實現(xiàn)整體性能的數(shù)量級提升。

在本次測試時,數(shù)據(jù)庫機器規(guī)模擴大到1557臺且單機倉庫數(shù)增長到3.6萬,總數(shù)據(jù)規(guī)模達到了近6PB,最大單表掃描數(shù)據(jù)總行數(shù)超過20萬億行(TPC-H最大的測試是100TB)。

除了性能優(yōu)勢,在兼容性上,OceanBase較傳統(tǒng)數(shù)據(jù)庫也有創(chuàng)新,其可高度兼容Oracle和Mysql,支持一鍵快速遷移,并提供云上的完整生態(tài)服務,解決了授權費用貴、硬件成本高、架構與運維復雜、遷移難度大等傳統(tǒng)數(shù)據(jù)庫難題。

用10年,OceanBase做到別人做不到的事

螞蟻金服高級研究員、OceanBase 創(chuàng)始人陽振坤始終認為:

“直到今天,生產(chǎn)系統(tǒng)中沒有一個商業(yè)數(shù)據(jù)庫有分布式,除了OceanBase,這是我們做到了別人做不到的事。”

縱觀當今全球數(shù)據(jù)庫應用情況,關系數(shù)據(jù)庫依然是主流,而集中式系統(tǒng)依然大行其道,甲骨文、IBM、微軟源源不斷從中獲得收入。

此前,分布式數(shù)據(jù)庫長期存在于理論中并沒有在生產(chǎn)中實現(xiàn),雖然成本可以降低,但缺點亦十分突出:普通PC機單個來看都達不到金融級別的穩(wěn)定性,如果其中一臺機器罷工,容易產(chǎn)生多米諾骨牌效應般的坍塌效應(這個短板被視為世界級難題)。

而OceanBase解決分布式數(shù)據(jù)庫穩(wěn)定性的方式之一,是將每一份數(shù)據(jù)同時備份三份,存放在三臺不同的機器上。其原理是,一臺PC機出故障的概率如果是千分之一,兩臺同時壞的概率可能就是百萬分之一,三臺同時壞的概率則是十億分之一。

早年,在阿里的眾多業(yè)務中,無論是淘寶還是支付寶,集中式的關系數(shù)據(jù)庫都扮演著十分關鍵的角色,不可能擺脫它。但是,市面上的商業(yè)數(shù)據(jù)庫在高擴展、高并發(fā)和低成本上遠遠無法滿足淘寶和支付寶的高成長速度,且遇到業(yè)務激增時IOE投資要放大幾百倍甚至幾千倍。

“誰都買不起了”。阿里勢必需要考慮切換軌道——在2009年啟動“去IOE”?!叭OE”工程的戰(zhàn)略價值何在?一般被認為有三點:架構靈活支撐業(yè)務飛速發(fā)展;基礎工程技術和人才的積累;大幅降低成本。

在數(shù)據(jù)庫領域,盡管彼時市面上非關系數(shù)據(jù)庫競相涌入,開源數(shù)據(jù)庫局限性比較大,兩者對巨頭的關系數(shù)據(jù)庫的沖擊可以用蚍蜉撼樹來形容——阿里決定走自研關系數(shù)據(jù)庫的道路。

盡管“自研”策略備受爭議,遇到各種反對,但一旦江河解凍,就會勢如劈竹,無法阻擋。OceanBase沖在了最前面,做起了先鋒。2010年5月,阿里邀請陽振坤加盟淘寶,由此拉開了 OceanBase的自主研發(fā)之路。

2010 年:創(chuàng)始人陽振坤加入阿里巴巴,OceanBase 正式立項;

2014 年:OceanBase 0.5 版本發(fā)布,替代 Oracle 在支付寶交易系統(tǒng)上線,負擔“雙十一”10% 流量;

2015 年:網(wǎng)商銀行成立,OceanBase 成為全球首個應用于金融核心業(yè)務系統(tǒng)的分布式關系數(shù)據(jù)庫;

2016 年:OceanBase 1.0 版本在支付寶賬務系統(tǒng)上線,支撐 12 萬筆 / 秒支付峰值;

2017 年:支付寶首次把所有核心數(shù)據(jù)鏈路搬到 OceanBase 上。同年,OceanBase在多家商業(yè)銀行上線;

2019 年:OceanBase 獲得 TPC-C 基準測試排名榜首;

2020 年:OceanBase以7.07億tpmC的成績打破去年TPC-C基準測試紀錄。

據(jù)了解,OceanBase早年第一個客戶是淘寶收藏夾。

當時的淘寶收藏夾業(yè)務高速發(fā)展,數(shù)據(jù)庫訪問量飛快增長,服務器數(shù)量需要翻一倍甚至幾倍才能應對業(yè)務需求。陽振坤主動提出可以用OceanBase,把服務器的數(shù)量降低一個數(shù)量級。

在淘寶收藏夾吃完OceanBase這只螃蟹后,確實取得了不錯的效果,也由此,OceanBase在內(nèi)部獲得了更多信任。但由于找不到更多愿意使用的業(yè)務,陽振坤和他的伙伴們經(jīng)歷了一段低谷期,用高德總裁劉振飛(2009年組建淘寶技術保障部)的話來說,回想起來當時都是折磨、痛苦和眼淚,今天說起來可以算是傳奇和笑話了。

OceanBase團隊在2012年走到了最困難的時候,數(shù)度瀕臨解散。

2012 年底,集團把 OceanBase 整個團隊調(diào)到了支付寶。支付寶屬于金融領域,面臨的數(shù)據(jù)庫挑戰(zhàn)會比其他業(yè)務更大,這相當于給了 OceanBase 團隊一次從頭開始的機會。

2013年夏天,支付寶開始“去IOE”,希望能夠把Oracle數(shù)據(jù)庫換掉。陽振坤主動向當時的螞蟻金服CTO程立推薦了OceanBase,并得到了認可。此后OceanBase在阿里內(nèi)部得到更多場景試煉,并逐步做到核心系統(tǒng)。

從“小我”到融入“海洋”

從瀕臨解散到浴火重生,OceanBase 走了快十年,它用了漫長的旅途進入了“無主之地”(自研分布式關系數(shù)據(jù)庫),沒有前人走過;它解決了自研信息技術三大軟肋(芯片、操作系統(tǒng)、數(shù)據(jù)庫)之一的數(shù)據(jù)庫難題,完全自主研發(fā)、安全可控。

它已經(jīng)向所有人證明了通用的分布式關系數(shù)據(jù)庫是能夠做成的,而且能真正應用在生產(chǎn)系統(tǒng)中。

當我們從頭來看陽振坤跟OceanBase團隊定下的策略,不得不感嘆想法的“超前”:走標準化!做一個通用的關系數(shù)據(jù)庫產(chǎn)品!他們不僅僅要在公司內(nèi)部使用它,還要實現(xiàn)外部商用——這帶來的挑戰(zhàn)就是投入更多人力和時間,以滿足市面上所有功能需求。

這就像“OceanBase”這個名字的寓意一樣:從一開始就立志做一個像海洋一樣的海量數(shù)據(jù)庫,征途就是星辰大海。

大音希聲大象無形,走向通用走向標準化,這件酷酷的事,支付寶做到了,而且把整個TPC-C測試變成了一種普惠的測試,為今后更廣泛應用打下基礎。

當然,OceanBase早已經(jīng)走出淘寶和支付寶的處女地,更多企業(yè)愿意擁抱它。

目前OceanBase已服務大量金融、電信等行業(yè)企業(yè),如建設銀行、南京銀行、西安銀行、人保健康險、蘇州銀行、廣東農(nóng)信、網(wǎng)商銀行等多家商業(yè)銀行和保險機構。全球前四名的支付平臺,兩家的核心系統(tǒng)都在使用OceanBase數(shù)據(jù)庫。

回首過往,之所以OceanBase能做成,能從當年的淘寶收藏夾走到支付寶,走進今天金融場景甚至更多領域,不僅是阿里,也是時代給了它一個好的發(fā)展機會??梢哉f,其高光有著行業(yè)和時代的必然性。

今天,阿里巴巴/支付寶內(nèi)部有數(shù)以萬計的數(shù)據(jù)庫,總有一些業(yè)務由于數(shù)據(jù)量和自身業(yè)務需求等因素,可以先試用自研技術,再一步步地將數(shù)據(jù)庫做到關鍵系統(tǒng)。就是遵循這樣的邏輯,加之敢冒風險的勇氣,OceanBase乃至阿里的云計算業(yè)務都能在阿里自然而然“長出來”,造就一段經(jīng)典商業(yè)案例。

踩在過去的肩膀上,迎接未來的數(shù)據(jù)爆發(fā),OceanBase會摘到更豐盛的果實。讓中國數(shù)據(jù)庫技術服務全球,是OceanBase的初心,相信OceanBase未來會在更大海洋中發(fā)揮價值,與人類共享科技成果。
責任編輯:pj

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 微軟
    +關注

    關注

    4

    文章

    6516

    瀏覽量

    103608
  • 數(shù)據(jù)

    關注

    8

    文章

    6715

    瀏覽量

    88311
  • PC機
    +關注

    關注

    2

    文章

    200

    瀏覽量

    28332
收藏 人收藏

    評論

    相關推薦

    Sitara? AM62Ax基準測試

    電子發(fā)燒友網(wǎng)站提供《Sitara? AM62Ax基準測試.pdf》資料免費下載
    發(fā)表于 09-07 10:41 ?0次下載
    Sitara? AM62Ax<b class='flag-5'>基準</b><b class='flag-5'>測試</b>

    NVIDIA文本嵌入模型NV-Embed的精度基準

    NVIDIA 的最新嵌入模型 NV-Embed —— 69.32 的分數(shù)創(chuàng)下了嵌入準確率的新紀錄海量文本嵌入基準測試(MTEB)涵蓋 56 項嵌入任務。
    的頭像 發(fā)表于 08-23 16:54 ?1797次閱讀
    NVIDIA文本嵌入模型NV-Embed的精度<b class='flag-5'>基準</b>

    FM3/CY9BF318TPMC-GK7E1與CY9BF318TPMC-GK7CGFKE1之間的區(qū)別是什么?

    請問以下兩種型號的區(qū)別是什么? CY9BF318TPMC-GK7E1 (EOL) CY9BF318TPMC-GK7CGFKE1(主動且首選) CY9BF318TPMC-GK7CGFKE1 可以直接替代 CY9BF318
    發(fā)表于 07-05 06:39

    支持I2C接口!思瑞浦發(fā)布高精度12位8通道SAR ADC-TPC502200

    聚焦高性能模擬芯片和嵌入式處理器的半導體供應商思瑞浦3PEAK(股票代碼:688536)全新推出TPC502200,支持I2C接口的12位8通道SARADC。TPC502200集成了高精度基準
    的頭像 發(fā)表于 06-19 08:36 ?319次閱讀
    支持I2<b class='flag-5'>C</b>接口!思瑞浦發(fā)布高精度12位8通道SAR ADC-<b class='flag-5'>TPC</b>502200

    AMEYA360代理品牌 | 思瑞浦發(fā)布高精度12位8通道SAR ADC-TPC502200

    基準源,同時可在極端溫度范圍(-40°C至+125°C)下穩(wěn)定工作。TPC502200憑借強大的性能優(yōu)勢,可廣泛應用于數(shù)據(jù)采集、工業(yè)測量與控制、以及自動
    的頭像 發(fā)表于 06-18 11:31 ?401次閱讀
    AMEYA360代理品牌 | 思瑞浦發(fā)布高精度12位8通道SAR ADC-<b class='flag-5'>TPC</b>502200

    中文大模型測評基準SuperCLUE:商湯日日新5.0,刷新國內(nèi)最好成績

    不俗,總分80.03分的優(yōu)異成績刷新國內(nèi)最好成績,并在中文綜合成績上超過GPT-4-Turbo-0125。
    的頭像 發(fā)表于 05-21 14:45 ?574次閱讀
    中文大模型測評<b class='flag-5'>基準</b>SuperCLUE:商湯日日新5.0,刷新國內(nèi)最好<b class='flag-5'>成績</b>

    UL Procyon AI 發(fā)布圖像生成基準測試,基于Stable Diffusion

    UL去年發(fā)布的首個Windows版Procyon AI推理基準測試計算機視覺工作負載評估AI推理性能。新推出的圖像生成測試將提供統(tǒng)一、精
    的頭像 發(fā)表于 03-25 16:16 ?710次閱讀

    華擎Z690 AQUA OC主板與英特爾酷睿i9-14900KS處理器共同刷新超頻紀錄

    Splave的挑戰(zhàn)中,他6.77秒和3.662秒的優(yōu)異成績打破了PiFast和SuperPi 1M兩項記錄,這比先前由超頻愛好者safedisk使用ROG主板鍛造的世界紀錄更為出色。
    的頭像 發(fā)表于 03-20 13:56 ?657次閱讀

    英偉達市值單日飆升2770美元,打破Meta創(chuàng)下的紀錄

    元。這一漲幅不僅刷新了英偉達自身的市值紀錄,更是創(chuàng)下了美股單個交易日的市值增幅最高紀錄,超越了Meta在2月2日創(chuàng)下的1970美元市值增幅紀錄。
    的頭像 發(fā)表于 02-25 11:19 ?616次閱讀

    打破美股紀錄 英偉達市值單日市值增加2770美元!

    2月23日消息,英偉達 2024 財年第四季度財報公布之后,該公司單日市值增加2770美元(約1.99萬億元人民幣),打破 Meta 三周前剛剛創(chuàng)下的1970美元美股紀錄。
    的頭像 發(fā)表于 02-23 13:50 ?525次閱讀

    通用CPU性能基準測試的研究現(xiàn)狀

    經(jīng)過持續(xù)迭代升級,TPC已發(fā)展成為能夠滿足多種應用場景性能測試需求的基準測試簇,根據(jù)測試場景和測試
    發(fā)表于 02-20 10:22 ?512次閱讀
    通用CPU性能<b class='flag-5'>基準</b><b class='flag-5'>測試</b>的研究現(xiàn)狀

    浪潮信息HANA一體機創(chuàng)SAP BWH最佳成績,算力助商業(yè)智能更快更準

    北京2023年12月15日 /美通社/ -- 近日,SAP官方發(fā)布最新BWH Benchmark基準測試結果,浪潮信息NF8480G7四路HANA一體機每小時執(zhí)行17044次查詢的成績
    的頭像 發(fā)表于 12-18 09:13 ?691次閱讀
    浪潮信息HANA一體機創(chuàng)SAP BWH最佳<b class='flag-5'>成績</b>,算力助商業(yè)智能更快更準

    高精度基準電壓源測試方法有哪些

    方法和技術手段。 校準和驗證是使用高精度基準電壓源進行測試的重要步驟。在實際應用中,高精度基準電壓源通常需要經(jīng)過定期的校準與驗證,確保其輸出的電壓信號符合預期的準確程度。校準是通過與
    的頭像 發(fā)表于 11-27 17:11 ?714次閱讀
    高精度<b class='flag-5'>基準</b>電壓源<b class='flag-5'>測試</b>方法有哪些

    國際SPEC CPU創(chuàng)榜以來整機最高紀錄

    近日,國際標準性能評估組織SPEC發(fā)布新一輪SPEC CPU2017通用算力性能測試榜單,浪潮信息八路服務器TS860G73940分獲得SPEC CPU創(chuàng)榜以來整機性能最佳成績,打破
    的頭像 發(fā)表于 10-17 17:00 ?825次閱讀

    比亞迪再度打破巴西新能源汽車銷量紀錄

    9月,比亞迪再度打破巴西新能源汽車銷量紀錄,引領巴西電動化浪潮。比亞迪單日銷量高達603臺,超越其他各新能源品牌8月純電銷量總和。 比亞迪為巴西市場帶來一系列新能源車型,海豚、宋PLUS DM-i
    的頭像 發(fā)表于 09-28 09:23 ?790次閱讀