0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

文件系統(tǒng)的分布式分發(fā)過程

華為產(chǎn)品資料 ? 來源:華為產(chǎn)品資料 ? 作者:華為產(chǎn)品資料 ? 2022-07-01 14:41 ? 次閱讀

什么是分布式文件系統(tǒng)

在傳統(tǒng)NAS文件系統(tǒng)架構(gòu)中,一般采用Active-Passive架構(gòu),文件系統(tǒng)歸屬某1個控制器,在創(chuàng)建文件系統(tǒng)的時候,需要對文件系統(tǒng)的歸屬進行規(guī)劃,采用多個文件系統(tǒng)運行在不同的控制器上,實現(xiàn)系統(tǒng)中每個控制器的負(fù)載均衡。

這樣的NAS架構(gòu),1個文件系統(tǒng)只能發(fā)揮1個控制器的硬件性能,無法把多控制器的硬件資源都利用起來獲得更高的性能,因此無法支持單一命名空間。如果采用創(chuàng)建多個文件系統(tǒng),由于不同文件系統(tǒng)的業(yè)務(wù)壓力各不相同,也很難以實現(xiàn)系統(tǒng)的負(fù)載均衡。

華為閃存存儲采用分布式文件系統(tǒng)架構(gòu),文件系統(tǒng)沒有控制器歸屬約束,通過均衡算法將文件系統(tǒng)的目錄和文件均衡分布到集群中每個控制器,實現(xiàn)每個控制器負(fù)載自動均衡,1個文件系統(tǒng)也能將整個存儲集群的資源充分利用達(dá)到系統(tǒng)的最大性能和容量能力,客戶可以免規(guī)劃輕松使用單文件系統(tǒng)或者多個文件系統(tǒng)方式部署使用。

文件系統(tǒng)的分布式分發(fā)過程

文件系統(tǒng)分布式分發(fā)過程就是將目錄和子文件設(shè)置到不同的FSP(File Service Partition,用于承載文件系統(tǒng)目錄和文件的邏輯分區(qū),均衡分布在所有控制器的vNode上)中運行,從而達(dá)到將文件系統(tǒng)的目錄和文件分發(fā)到所有CPU處理的過程。

139bbdd6-f790-11ec-ba43-dac502259ad0.png

分布式策略——目錄均衡模式

目錄均衡模式可以消除單個控制器或CPU瓶頸,客戶端創(chuàng)建的目錄均衡分布在所有的CPU或控制器上,發(fā)揮存儲所有控制器和CPU性能。1、將文件系統(tǒng)的一級和二級目錄均衡地分發(fā)到不同的FSP上。海量文件共享場景下,一二級目錄訪問頻繁,這樣可讓系統(tǒng)先達(dá)到基本的均衡性

2、從第三級目錄開始,優(yōu)先選擇該目錄的父目錄所在的vNode進行分發(fā),這樣可減少深層次目錄訪問的跨控轉(zhuǎn)發(fā)開銷,獲得較好的處理時延。

13b10376-f790-11ec-ba43-dac502259ad0.png

分布式策略——性能模式

無論一、二級目錄或更深層次的目錄,都優(yōu)先選擇掛載IP所在的控制器,在該控制器以內(nèi)的FSP進行輪詢分發(fā)。這樣,在一個IP地址以下所有的目錄讀寫都沒有IO轉(zhuǎn)發(fā),獲得最佳的讀寫性能。

性能模式可以最大化發(fā)揮存儲系統(tǒng)的讀寫性能,但對IO模型有一定要求,適合于對性能要求較高,并且每個客戶端會自己管理自己的目錄和文件的場景。

13d96f64-f790-11ec-ba43-dac502259ad0.png

原文標(biāo)題:閃存存儲如何實現(xiàn)分布式文件系統(tǒng)架構(gòu)

文章出處:【微信公眾號:華為產(chǎn)品資料】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 控制器
    +關(guān)注

    關(guān)注

    112

    文章

    15886

    瀏覽量

    175388
  • 硬件
    +關(guān)注

    關(guān)注

    11

    文章

    3113

    瀏覽量

    65851
  • 文件系統(tǒng)
    +關(guān)注

    關(guān)注

    0

    文章

    280

    瀏覽量

    19831

原文標(biāo)題:閃存存儲如何實現(xiàn)分布式文件系統(tǒng)架構(gòu)

文章出處:【微信號:huaweidoc,微信公眾號:華為產(chǎn)品資料】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    想提高開發(fā)效率,不要忘記文件系統(tǒng)

    ?同學(xué)們都知道,開發(fā)過程中文件系統(tǒng)的重要性,同樣的,4G-Cat.1模組的文件系統(tǒng)也非常重要,它通常與數(shù)據(jù)傳輸速度、存儲效率,以及數(shù)據(jù)安全性等有非常重要的關(guān)系,在應(yīng)用開發(fā)中也非常重要。
    的頭像 發(fā)表于 09-21 08:18 ?109次閱讀
    想提高開發(fā)效率,不要忘記<b class='flag-5'>文件系統(tǒng)</b>

    華為分布式存儲連續(xù)三年榮膺2024年Gartner“客戶之選”

    近日,全球權(quán)威咨詢與分析機構(gòu)Gartner發(fā)布《2024年Gartner Peer InsightsTM 分布式文件系統(tǒng)與對象存儲“客戶之聲”》報告,華為憑借其OceanStor分布式存儲解決方案再次榮獲“客戶之選”殊榮,這已是
    的頭像 發(fā)表于 05-24 10:12 ?514次閱讀

    浪潮信息發(fā)布AS13000G7-N系列分布式全閃存儲

    浪潮信息近日推出了專為大型AI模型優(yōu)化的AS13000G7-N系列分布式全閃存儲。該系列基于浪潮信息自研的分布式文件系統(tǒng),結(jié)合新一代數(shù)據(jù)加速引擎DataTurbo,為用戶提供卓越的存儲解決方案。
    的頭像 發(fā)表于 05-14 10:03 ?411次閱讀

    浪潮信息發(fā)布為大模型專門優(yōu)化的分布式全閃存儲AS13000G7-N系列

    近日,浪潮信息發(fā)布為大模型專門優(yōu)化的分布式全閃存儲AS13000G7-N系列。該系列依托浪潮信息自研分布式文件系統(tǒng),搭載新一代數(shù)據(jù)加速引擎DataTurbo,
    的頭像 發(fā)表于 05-08 09:38 ?381次閱讀
    浪潮信息發(fā)布為大模型專門優(yōu)化的<b class='flag-5'>分布式</b>全閃存儲AS13000G7-N系列

    分布式系統(tǒng)硬件資源池原理和接入實踐

    /distributed_hardware_components_cfg.json 三個接口的 so 實現(xiàn)后,編譯打包到系統(tǒng)庫路徑下,同時配置到分布式硬件部件配置文件中,設(shè)備組網(wǎng)上線后,可以看到
    發(fā)表于 12-06 10:02

    redis分布式鎖的應(yīng)用場景有哪些

    系統(tǒng)中,多個節(jié)點可能同時訪問共享資源,例如數(shù)據(jù)庫、文件系統(tǒng)等。使用Redis分布式鎖可以保證在同一時刻只有一個節(jié)點能夠訪問該資源,避免了并發(fā)沖突問題,確保數(shù)據(jù)的一致性。 分布式任務(wù)調(diào)度
    的頭像 發(fā)表于 12-04 11:21 ?1255次閱讀

    zookeeper分布式原理

    是提供一個高可用的、一致性的機制,用于解決分布式系統(tǒng)中常見的一致性問題,比如Leader選舉、分布式鎖等。在本文中,我們將詳細(xì)介紹Zookeeper的原理和工作機制。 數(shù)據(jù)模型 Zookeeper的數(shù)據(jù)模型是一個類似于
    的頭像 發(fā)表于 12-03 16:33 ?519次閱讀

    分布式數(shù)據(jù)恢復(fù)-hbase+hive分布式存儲誤刪除文件的數(shù)據(jù)恢復(fù)方案

    。 hbase+hive分布式存儲故障&初檢: 數(shù)據(jù)庫文件被誤刪除,數(shù)據(jù)庫無法使用。 通過現(xiàn)場對該分布式環(huán)境的初步檢測,發(fā)現(xiàn)虛擬機還可以正常啟動,虛擬機里面的數(shù)據(jù)庫塊文件丟失
    的頭像 發(fā)表于 11-24 15:55 ?333次閱讀

    Java手寫分布式鎖的實現(xiàn)

    隨著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,原本單機部署的系統(tǒng)演化成如今的分布式集群系統(tǒng)后,由于分布式系統(tǒng)多線程
    的頭像 發(fā)表于 11-17 15:51 ?442次閱讀
    Java手寫<b class='flag-5'>分布式</b>鎖的實現(xiàn)

    springclould分布式教程

    Spring Cloud是一個基于Spring Boot的分布式系統(tǒng)開發(fā)工具,它提供了一系列的分布式系統(tǒng)解決方案,可以幫助開發(fā)者快速構(gòu)建和部署分布式
    的頭像 發(fā)表于 11-16 10:59 ?383次閱讀

    HarmonyOS分布式文件系統(tǒng)開發(fā)指導(dǎo)

    分布式文件系統(tǒng)概述 分布式文件系統(tǒng)(hmdfs,HarmonyOS Distributed File System)提供跨設(shè)備的文件訪問能力
    發(fā)表于 11-14 17:14

    Linux的文件系統(tǒng)特點

    Linux的文件系統(tǒng)特點 文件系統(tǒng)要有嚴(yán)格的組織形式,使得文件能夠以塊為單位進行存儲。 文件系統(tǒng)中也要有索引區(qū),用來方便查找一個文件分成的多
    的頭像 發(fā)表于 11-09 14:48 ?977次閱讀
    Linux的<b class='flag-5'>文件系統(tǒng)</b>特點

    tldb提供分布式鎖使用方法

    前言:分布式鎖是分布式系統(tǒng)中一個極為重要的工具。目前有多種分布式鎖的設(shè)計方案,比如借助 redis,mq,數(shù)據(jù)庫,zookeeper 等第三方服務(wù)
    的頭像 發(fā)表于 11-02 14:44 ?779次閱讀
    tldb提供<b class='flag-5'>分布式</b>鎖使用方法

    分布式文件系統(tǒng)的設(shè)計原理是什么?

    什么是分布式文件系統(tǒng)?分布式文件系統(tǒng)(DFS)是一種計算機文件系統(tǒng),使用戶能夠從多個分布式位置存
    的頭像 發(fā)表于 10-17 17:35 ?682次閱讀

    深入理解redis分布式

    深入理解redis分布式鎖 哈嘍,大家好,我是指北君。 本篇文件我們來介紹如何Redis實現(xiàn)分布式鎖的演進過程,以及為什么不能直接用Setnx實現(xiàn)
    的頭像 發(fā)表于 10-08 14:13 ?782次閱讀
    深入理解redis<b class='flag-5'>分布式</b>鎖