0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

打造大規(guī)模共享閃存基礎(chǔ)架構(gòu)

存儲D1net ? 來源:lp ? 2019-04-16 17:18 ? 次閱讀

從概念上講,RSI為不同的架構(gòu)整合服務(wù)器部件(CPU、GPU、存儲系統(tǒng)、內(nèi)存和網(wǎng)絡(luò)),使每個部件都能夠在標(biāo)準(zhǔn)機(jī)架設(shè)備中進(jìn)行調(diào)整和升級,通過高容量/低延遲PCIe鏈路進(jìn)行連接。在這上面安裝虛擬服務(wù)器軟件,可以利用一個個機(jī)架級部件構(gòu)建虛擬服務(wù)器,并且你擁有了一種意義重大的配置,使企業(yè)基礎(chǔ)架構(gòu)能夠與云服務(wù)相競爭。

不過,在網(wǎng)絡(luò)上使用非易失性內(nèi)存和存儲系統(tǒng)通常意味著不可接受的延遲。斯坦福大學(xué)團(tuán)隊的ReFlex(軟件存儲服務(wù)器 )這時就有了用武之地。

ReFlex

使遠(yuǎn)程閃存訪問可以接受面臨幾個難題,最大的難題是實現(xiàn)低延遲。

管理共享閃存池中的多租戶需要隔離機(jī)制,那樣應(yīng)用程序不會干擾對方。共享閃存方面最好具有高度靈活性,預(yù)計還會遇到其他部署問題,比如規(guī)模和網(wǎng)絡(luò)協(xié)議。

斯坦福大學(xué)的團(tuán)隊在測試中發(fā)現(xiàn),ReFlex獲得的遠(yuǎn)程閃存性能相當(dāng)于使用TCP/IP基于10Gb以太網(wǎng)的本地閃存訪問。他們解釋道:“ReFlex使用一種緊密集成網(wǎng)絡(luò)和存儲的新型數(shù)據(jù)平面內(nèi)核,在計算要求有限的情況下實現(xiàn)了高性能。這種數(shù)據(jù)平面設(shè)計避免了中斷和數(shù)據(jù)拷貝的開銷,針對局部性進(jìn)行了優(yōu)化,并兼顧了高吞吐量(IOPS)和低尾延遲?!?/p>

多租戶

閃存設(shè)備上多租戶的一大問題是,讀取性能和寫入性能之間存在巨大的差異。寫入可能需要幾毫秒,而讀取是亞毫秒級事務(wù)。這意味著執(zhí)行大量寫入操作的應(yīng)用(比如元數(shù)據(jù)更新或流視頻)耗用NVMe設(shè)備的大量資源。

斯坦福大學(xué)的團(tuán)隊實施了QoS調(diào)度程序,它可以全面了解所有租戶的整個工作負(fù)載。最大的IOPS取決于所有請求的讀取/寫入比。調(diào)度程序查看每個工作負(fù)載的服務(wù)級別目標(biāo)(SLO),優(yōu)先考慮注重延遲的應(yīng)用而不是盡力的應(yīng)用,并確保應(yīng)用的SLO得到實現(xiàn)。

由于諸如此類的優(yōu)化,ReFlex能夠做到每個核心提供高達(dá)850K的IOPS,同時僅比直接訪問本地閃存增加21μs的延遲。這非常好。

英特爾的遠(yuǎn)見卓識者多年來一直在倡導(dǎo)RSI概念,但看起來正是在2018年,所有必要部分(尤其是PCIe v4)匯集起來,使這個概念在技術(shù)上和經(jīng)濟(jì)上都切實可行。隨著閃存價格暴跌,塞滿閃存的機(jī)架比以往任何時候都更經(jīng)濟(jì)實惠,哪怕是數(shù)百TB的閃存。

這對我們數(shù)據(jù)密集型的未來來說是好消息。是否有任何企業(yè)存儲供應(yīng)商使類似ReFlex的技術(shù)實現(xiàn)產(chǎn)品化值得拭目以待。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 閃存
    +關(guān)注

    關(guān)注

    16

    文章

    1771

    瀏覽量

    114776
  • 網(wǎng)絡(luò)協(xié)議

    關(guān)注

    3

    文章

    265

    瀏覽量

    21494
  • 存儲系統(tǒng)
    +關(guān)注

    關(guān)注

    2

    文章

    403

    瀏覽量

    40824

原文標(biāo)題:打造大規(guī)模共享閃存基礎(chǔ)架構(gòu)

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心

    在推動亞太地區(qū)AI計算領(lǐng)域邁向新紀(jì)元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項目不僅標(biāo)志著臺灣AI基礎(chǔ)設(shè)施的飛躍,也預(yù)示著亞太區(qū)AI計算格局的深刻變革。
    的頭像 發(fā)表于 09-05 16:26 ?325次閱讀

    SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD

    最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿(mào)易協(xié)會論壇(STA)與INCITS/SCSI標(biāo)準(zhǔn)組織攜手推出,專為下一代超大規(guī)模數(shù)據(jù)中心中的機(jī)械硬盤(HDD)與固態(tài)硬盤(SSD)量身打造。
    的頭像 發(fā)表于 07-25 15:13 ?707次閱讀

    谷歌云部門進(jìn)行大規(guī)模裁員

    谷歌云部門近日進(jìn)行了大規(guī)模裁員,多個Cloud團(tuán)隊的員工收到了工作取消的通知。據(jù)一名知情員工透露,盡管受影響員工的總?cè)藬?shù)尚未明確,但亞太地區(qū)“Go To Market”團(tuán)隊約有100名員工被裁。
    的頭像 發(fā)表于 06-05 09:48 ?606次閱讀

    專用集成電路都是大規(guī)模的嗎為什么呢

    的集成度和性能優(yōu)勢。然而,并非所有專用集成電路都是大規(guī)模的,因為集成度的大小取決于設(shè)計和制造的要求。 在探討專用集成電路是否大規(guī)模之前,我們首先需要了解什么是大規(guī)模集成電路(Very Large Scale Integratio
    的頭像 發(fā)表于 04-21 09:15 ?472次閱讀

    專用集成電路都是大規(guī)模的嗎

    Integrated Circuit,簡稱GPIC)相比,專用集成電路更加定制化和特定化,因此常被視為大規(guī)模的集成電路。但是,并不是所有的專用集成電路都是大規(guī)模的,這取決于具體的設(shè)計需求和應(yīng)用場景。 在
    的頭像 發(fā)表于 04-19 14:39 ?428次閱讀

    專用集成電路都是大規(guī)模的嗎為什么

    Integrated Circuit, GPIC)相比,ASIC針對特定的應(yīng)用程序進(jìn)行了優(yōu)化和定制,以實現(xiàn)更高的性能、更低的功耗和更小的面積。 專用集成電路之所以通常是大規(guī)模的,是因為它們需要集成
    的頭像 發(fā)表于 04-14 10:48 ?533次閱讀

    專用集成電路都是大規(guī)模的嗎對嗎

    。與通用型集成電路(General Purpose Integrated Circuit,簡稱GPIC)相比,專用集成電路在特定的應(yīng)用領(lǐng)域中更為專注和高效。在關(guān)于專用集成電路是否都是大規(guī)模的這個問題上,答案
    的頭像 發(fā)表于 04-14 10:45 ?441次閱讀

    大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)演進(jìn)的七大主流趨勢

    自動駕駛已經(jīng)變成可能,大規(guī)模應(yīng)用只是一個時間問題。大規(guī)模網(wǎng)絡(luò)運維的自動化也必然是業(yè)界的趨勢,要達(dá)到自動駕駛或自動化運維都需要兩個共同的條件:一是有足夠有效的數(shù)據(jù),二是要有對數(shù)據(jù)的智能分析和處理能力。
    發(fā)表于 03-11 11:21 ?417次閱讀

    大規(guī)模儲能-堿性水系鈉離子電池開發(fā)

    當(dāng)前,對大規(guī)模儲能的需求不斷增長,推動了具有安全性、環(huán)保性和低成本的電池系統(tǒng)的開發(fā)。
    的頭像 發(fā)表于 01-24 09:29 ?1078次閱讀
    <b class='flag-5'>大規(guī)模</b>儲能-堿性水系鈉離子電池開發(fā)

    谷歌YouTube部門進(jìn)行大規(guī)模內(nèi)部調(diào)整,裁員約100人

    根據(jù)Tubefilter獲得的一份內(nèi)部備忘錄,谷歌YouTube部門正在進(jìn)行大規(guī)模的內(nèi)部調(diào)整,其中包括裁員約100人。
    的頭像 發(fā)表于 01-18 18:29 ?1365次閱讀

    谷歌將進(jìn)行大規(guī)模重組和裁員

    谷歌近日宣布對其硬件團(tuán)隊進(jìn)行大規(guī)模重組,包括Pixel、Nest和Fitbit在內(nèi)的多個硬件部門將受到影響。同時,Google Assistant部門也將裁員數(shù)百人,而增強(qiáng)現(xiàn)實(AR)團(tuán)隊的大多數(shù)員工也將面臨被解雇的命運。
    的頭像 發(fā)表于 01-12 15:06 ?716次閱讀

    GGII預(yù)計2024快充大規(guī)模應(yīng)用元年將至

    GGII預(yù)計2024年中國新上市2C以上快充車型將超過15款,快充大規(guī)模應(yīng)用元年正在到來。
    的頭像 發(fā)表于 01-05 10:05 ?758次閱讀
    GGII預(yù)計2024快充<b class='flag-5'>大規(guī)模</b>應(yīng)用元年將至

    對話國產(chǎn)EDA和IP廠商,如何攻克大規(guī)模數(shù)字電路設(shè)計挑戰(zhàn)?

    隨著先進(jìn)制程不斷推進(jìn),以及AI、大數(shù)據(jù)、云計算等一系列新技術(shù)的快速發(fā)展,數(shù)字電路的處理能力越來越強(qiáng),電路規(guī)模越來越大,對大規(guī)模數(shù)字芯片的需求也越來越多。因此,如何加速大規(guī)模數(shù)字電路設(shè)計就成為了業(yè)內(nèi)
    的頭像 發(fā)表于 12-28 08:23 ?1157次閱讀
    對話國產(chǎn)EDA和IP廠商,如何攻克<b class='flag-5'>大規(guī)模</b>數(shù)字電路設(shè)計挑戰(zhàn)?

    大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化:超參最佳實踐與規(guī)模

    從理論分析入手把握大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化的規(guī)律,可以指導(dǎo)實踐中的超參數(shù)選擇。反過來,實踐中的超參數(shù)選擇也可以指導(dǎo)理論分析。本篇文章聚焦于大語言模型,介紹從 GPT 以來大家普遍使用的訓(xùn)練超參數(shù)的變化
    的頭像 發(fā)表于 12-10 21:45 ?949次閱讀

    6G超大規(guī)模多天線的技術(shù)演進(jìn)歷程

    從3G到5G時代,天線規(guī)模發(fā)生了顯著的變化,5G超大規(guī)模天線技術(shù)具有許多優(yōu)勢,但面向6G的極致性能要求還需持續(xù)演進(jìn)
    發(fā)表于 11-21 09:19 ?780次閱讀
    6G超<b class='flag-5'>大規(guī)模</b>多天線的技術(shù)演進(jìn)歷程