希捷攜手AutoX為自動駕駛汽車打造私有云數(shù)據(jù)中心,構(gòu)建端邊云一體化的數(shù)據(jù)架構(gòu)
自動駕駛——昔日科學(xué)家們的野心,如今夢想正在照進現(xiàn)實。不過,海量數(shù)據(jù)的存儲和管理能力,成為自動駕駛從技術(shù)到落地的關(guān)鍵挑戰(zhàn)。
自動駕駛網(wǎng)約車、無人配送車、無人清潔車、無人物流車等產(chǎn)品正努力探索從概念走向落地,以期為我們的生活和工作帶來更多便利。對于自動駕駛車輛而言,數(shù)據(jù)的重要性堪比汽油和電,被喻為自動駕駛汽車的新“燃料”。從傳感器、激光雷達采集到的數(shù)據(jù)以及車輛機械、環(huán)境等各類數(shù)據(jù)的有效訓(xùn)練、分析和處理,意味著自動駕駛技術(shù)平臺提供商的核心競爭力,也決定著自動駕駛的技術(shù)革新與產(chǎn)品迭代。
而在自動駕駛汽車數(shù)據(jù)的有效存儲和管理方面,自動駕駛行業(yè)的領(lǐng)先企業(yè)AutoX已經(jīng)搶先一步,通過搭建“超級數(shù)據(jù)工廠”并攜手希捷打造涵蓋“端-邊-云”的數(shù)據(jù)管理架構(gòu),不斷提升數(shù)據(jù)駕馭能力,進而推進自動駕駛的平民化。
海量與動態(tài)即時:魚和熊掌并非不能兼得
自動駕駛汽車產(chǎn)生的數(shù)據(jù)量會隨著其級別升高,自動駕駛級別越高,所需的傳感器數(shù)量則越多、精度也越高,而數(shù)據(jù)量就會相應(yīng)上漲。據(jù)統(tǒng)計,行駛狀態(tài)下的RoboTaxi(自動駕駛出租車)平均每小時就產(chǎn)生1TB的數(shù)據(jù)量,AutoX目前運營超過一百臺自動駕駛車隊,一天之內(nèi)就可以產(chǎn)生達到PB級的海量數(shù)據(jù)。
與此同時,為了提升數(shù)據(jù)處理的效率,越來越多的道路測試數(shù)據(jù)需要在采集后就立即得到分析與處理。目前,許多自動駕駛汽車企業(yè)在成立之初傾向于采用公有云進行數(shù)據(jù)的存儲、處理、訓(xùn)練。隨著車隊規(guī)模的擴大,自動駕駛汽車數(shù)據(jù)量的指數(shù)級增加,從自動駕駛汽車到公有云這樣的數(shù)據(jù)處理架構(gòu)掣肘數(shù)據(jù)的流動效率,也為數(shù)據(jù)存儲的成本和性能都帶來更大的壓力。
網(wǎng)絡(luò)帶寬是限制公有云端數(shù)據(jù)流動效率的一個重要因素。隨著自動駕駛汽車采集的數(shù)據(jù)量越來越龐大,在公有云進行上傳、下載和數(shù)據(jù)訪問時,尤其是處理大型數(shù)據(jù)集時,帶寬壓力會越來越凸顯,帶寬不足往往造成數(shù)據(jù)處理的延時和遲滯等問題。此外,數(shù)據(jù)量的不斷膨脹使得公有云成本的增長速度驚人,長久的成本考量也成為自動駕駛企業(yè)需要亟待解決的問題。
面對這樣的挑戰(zhàn),AutoXVP潘堅偉博士表示,“完善流暢的數(shù)據(jù)架構(gòu)對AutoX處理海量數(shù)據(jù)來說至關(guān)重要。我們不僅要考慮成本、性能、容量等因素,更需要關(guān)鍵數(shù)據(jù)以最快的速度得到訓(xùn)練、處理與妥善存儲。為此我們與希捷團隊一起,規(guī)劃并搭建了更適合業(yè)務(wù)需求的數(shù)據(jù)處理架構(gòu),加速L4級別自動駕駛的布局和落地?!?/p>
端-邊-云之間,數(shù)據(jù)如何行云流水
針對AutoX的海量數(shù)據(jù)存儲以及端-邊-云的數(shù)據(jù)流動需求,希捷為AutoX規(guī)劃并打造了邊緣的私有云數(shù)據(jù)中心,將數(shù)據(jù)架構(gòu)從終端(自動駕駛車隊)到核心(公有云),升級為更為完善的端-邊-云三層架構(gòu)(自動駕駛車隊—邊緣數(shù)據(jù)中心—公有云)。
經(jīng)過升級,之前大量的、在公有云完成的工作在邊緣就得到了高效處理。在實際工作的過程中,自動駕駛汽車完成實地運營與模擬測試之后,可快速將采集到的數(shù)據(jù)直接上傳到私有云數(shù)據(jù)中心。一系列的數(shù)據(jù)處理工作在私有云數(shù)據(jù)中心得以完成,包括數(shù)據(jù)清洗、數(shù)據(jù)挖掘、數(shù)據(jù)標(biāo)注、算法訓(xùn)練及推理等。這不但解決了AutoX對于快速數(shù)據(jù)處理的需求,同時降低了總體擁有成本(TCO)。在邊緣處理過后的數(shù)據(jù)最終會被妥善存放到公有云進行歸檔與備份。
“軟硬兼施”:自動駕駛數(shù)據(jù)獲得全面呵護
在構(gòu)建邊緣的私有云數(shù)據(jù)中心方面,希捷從AutoX的需求出發(fā),為AutoX量身定制了構(gòu)建方案,這其中包括希捷SeagateExos 5U84系統(tǒng)、服務(wù)器,以及Ceph分布式存儲系統(tǒng)。
SeagateExos5U84系統(tǒng)憑借成本、性能、容量和安全等方面的優(yōu)勢,滿足AutoX在各方面的需求。該系統(tǒng)具有強大的集成能力,讓計算更接近其存儲,并有效地提升了私有云數(shù)據(jù)中心的使用效率。此外,由于存儲系統(tǒng)在密度和性能方面均領(lǐng)先業(yè)界,可降低AutoX總體擁有成本,存儲高達1.344PB的數(shù)據(jù)。同時可擴展的架構(gòu),幫助AutoX應(yīng)對未來無限增長的自動駕駛數(shù)據(jù)。
此外,在整個方案中,服務(wù)器承載私有云數(shù)據(jù)中心的計算任務(wù),而Ceph分布式存儲系統(tǒng)則有效幫助AutoX管理存儲資源,將數(shù)據(jù)分布均衡,并實現(xiàn)了水平擴展。
與此同時,這套方案可復(fù)制性強,AutoX可快速將此方案復(fù)制到涵蓋上海、深圳、武漢等多個城市地區(qū)的更多場景中。
希捷科技副總裁暨中國區(qū)總裁孫丹女士稱,“AutoX在自動駕駛領(lǐng)域表現(xiàn)卓越,近期在加州獲得全無人駕駛牌照,在自動駕駛領(lǐng)域擁有豐富的實踐經(jīng)驗。面對AutoX在數(shù)據(jù)架構(gòu)與數(shù)據(jù)存儲方面的需求與挑戰(zhàn),希捷與AutoX通力協(xié)作,以更強大的數(shù)據(jù)存儲與處理能力,推進自動駕駛行穩(wěn)致遠。”
評論
查看更多