IPFS和Filecoin最近越來越火,有人說,IPFS是互聯(lián)網(wǎng)世界的未來,還有人說,IPFS分布式存儲或成為未來趨勢,IPFS到底有什么神奇之處?今天小編姐姐帶來IPFS愛好者必讀手冊,帶大家一探究竟,開始!
啥是IPFS?
IPFS是一個面向全球的、點對點的分布式版本文件系統(tǒng),也可以看成是一種去中心化的超媒體分發(fā)協(xié)議。
啥是Filecoin?
Filecoin是一個由區(qū)塊鏈和原生代幣構(gòu)成的去中心化存儲網(wǎng)絡(luò),F(xiàn)ilecoin是IPFS的唯一代幣,是運行在IPFS上面的激勵層,用以確保IPFS文件系統(tǒng)所存儲的數(shù)據(jù)安全可靠。
IPFS必讀手冊 IPFS的存儲需求和挑戰(zhàn)
IPFS作為分布式存儲的新興場景,與傳統(tǒng)的分布式存儲場景有著較大的區(qū)別,主要分為性能、可靠性、容量、供應(yīng)、價格、易維護性這幾個方面的需求。
性 能 在性能上主要分為三部分挑戰(zhàn)。 1、sealing大文件大帶寬的封裝寫入 2、windowpost針對所有sector的隨機讀抽查 3、winingpost出塊權(quán),針對贏filecoin的sector進行檢驗
在sector sealing階段,因IPFS龐大的數(shù)據(jù)封裝寫入,有大帶寬的寫入需求,每個文件大小為32G,業(yè)內(nèi)優(yōu)化做的比較好,且與浪潮合作的廠商,如加密矩陣、星河華訊等,能實現(xiàn)單worker每日封裝2TB-6TB,而每個存儲集群可接入幾十上百個worker,故整體對存儲集群的大文件順序?qū)懭胗袠O高的要求。 在windowpost階段,需要在一天的48個窗口內(nèi),對所有的partition進行隨機抽查,并且在規(guī)定的時間內(nèi)提交完成,對存儲讀取的要求,通常需要在3-4分鐘內(nèi)完成。集群總?cè)萘?.5PB以內(nèi),每個partition有2349個sector需要進行隨機檢查,而隨著集群規(guī)模的繼續(xù)增大,每個partition所含有的sector也會進行增長,每增加3.5PB容量,單partition會增加2349個sector,而對要求提交的時間卻仍然為3-4分鐘,故大規(guī)模礦池存儲集群下,windowpost的隨機讀壓力對存儲也是有極高的挑戰(zhàn)。 在winningpost階段,針對出塊的sector,需要進行隨機的抽查,要求在3S左右完成對隨機小塊數(shù)據(jù)的讀取,通常為單線程處理,對存儲小IO隨機讀取的時延有非常高的挑戰(zhàn)要求。
可 靠 性 在可靠性方面,為了防止sector因節(jié)點/硬盤/機柜等硬件故障而丟失,高可靠的存儲是區(qū)塊鏈服務(wù)供應(yīng)商保證收益的重中之重,一方面是為了保證現(xiàn)有算力的維持,另一方面避免因丟失sector而帶來的抵押幣損失。 隨著IPFS行業(yè)的發(fā)展,主流區(qū)塊鏈服務(wù)供應(yīng)商已經(jīng)逐步從原始的組裝機+JBOD的方案轉(zhuǎn)向?qū)I(yè)的企業(yè)級分布式存儲,通過糾刪碼、快速重構(gòu)、高可靠硬件等技術(shù),實現(xiàn)大規(guī)模sector封裝的零丟失,零懲罰。故障出現(xiàn)后,為保證算力封裝的效率和POST檢查的通過,不僅要求數(shù)據(jù)不丟失,同時在集群降級情況下,不影響業(yè)務(wù)的正常使用,并在短時間內(nèi)能恢復(fù)。
容 量 在容量方面,截止2021年1月6日,單賬戶最大封裝的容量已達到72PB,預(yù)計未來在IPFS場景下百PB級集群將會越來越多,這要求存儲在容量上支持百PB級,甚至EB級規(guī)模,因此橫向擴展、在線擴容方面,同樣對存儲提出了極高的要求和挑戰(zhàn)。
供 應(yīng) 在供應(yīng)方面,主要包含兩大塊。 1、設(shè)備的生產(chǎn)供應(yīng) 2、維保/實施等服務(wù)的供應(yīng) 首先,因資金的時間成本,數(shù)據(jù)量寫入量大,最終用戶的時間要求等因素,IPFS區(qū)塊鏈服務(wù)供應(yīng)商通常要求存儲的供應(yīng)商能夠在接到訂單的1-2周內(nèi)完成發(fā)貨和實施。因IPFS場景通常每次訂單的規(guī)模少則幾十個,多則上百個節(jié)點,對應(yīng)單次訂單所需要的大容量硬盤數(shù)量是以千計的,在供應(yīng)和生產(chǎn)上也是非??简灤鎯S商的基本功。 其次,因機房的分布情況不同,同一家可能在中國各地有對應(yīng)的設(shè)備,一旦出現(xiàn)故障,需要有全國范圍內(nèi)的服務(wù)支持體系去協(xié)助排查和解決問題。
價 格 在價格方面,為保證足夠高的投資回報率,IPFS服務(wù)供應(yīng)商對存儲每TB價格提出了極高的要求,這要求存儲廠商在滿足基本性能的情況下,針對IPFS場景的IO模型進行調(diào)優(yōu),并盡可能降低硬件配置,實現(xiàn)最優(yōu)性價比的方案。
易 維 護 性 在易維護性方面,因數(shù)據(jù)量和設(shè)備量巨大,涉及到多套存儲集群的統(tǒng)一管理和運維,要求存儲集群能夠提供智能化的運維管理工具,降低運維壓力和成本。
IPFS必讀手冊 浪潮IPFS解決方案優(yōu)勢
極 致 性 能 浪潮針對IPFS場景獨特的大文件寫入,小塊隨機讀的IO模型進行了深入的優(yōu)化,在大帶寬持續(xù)寫入,并在降級重構(gòu)時,實現(xiàn)了3分鐘內(nèi)完成windowpost讀取,3S內(nèi)完成winingpost讀取的成果,平均單個IO時延響應(yīng)在35ms以下。 首先,通過針對Ubuntu 18.04和20.04操作系統(tǒng)進行優(yōu)化,縮短標(biāo)準(zhǔn)協(xié)議的IO路徑,并降低因用戶態(tài)和內(nèi)核態(tài)轉(zhuǎn)換所帶來的上下文切換開銷,相比于通常傳統(tǒng)的掛載延時降低50%,帶寬提升80%,大幅降低時空證明讀取時間,并提高sealing寫入速度。 其次,通過讀寫優(yōu)先級優(yōu)化,避免在大帶寬寫入時,對時空證明的時延影響,保證時空證明的順利進行,降低抵押幣損失風(fēng)險。 再次,基于NVMe SSD直接裸設(shè)備管理機制,在縮短IO路徑的同時提高了數(shù)據(jù)組織管理效率,實現(xiàn)數(shù)據(jù)與元數(shù)據(jù)的徹底分離,解決了日志疊加日志的設(shè)計,降低寫放大。并優(yōu)化底層的流控機制,降低IOPS、時延抖動。寫性能翻倍,時延降低50%。 最后,通過分布式重構(gòu)以及數(shù)據(jù)恢復(fù)QOS技術(shù),保證在重構(gòu)時sealing和時空證明不受影響,并快速恢復(fù)集群至正常狀態(tài)。
極 致 性 價 比 浪潮針對IPFS IO模型獨特優(yōu)化和設(shè)計后,形成了差異化領(lǐng)先的IPFS存儲解決方案,為客戶提供更具性價比的方案,在保證性能滿足的情況下,綜合成本每TB下降10%-20%。 一方面,借助極致的性能技術(shù),極限優(yōu)化配置,降低不必要的CPU、內(nèi)存、SSD、導(dǎo)軌等開銷,提升單位容量的性價比。
浪潮分布式存儲AS13000G5-M60高密節(jié)點(4U60) 另一方面,通過業(yè)內(nèi)獨有的4U60高密分布式存儲節(jié)點,相比于傳統(tǒng)的4U36機型,單盤平均功耗下降13%,空間利用率提升66%,并提供13類部件的熱維護,顯著提高運維效率,降低成本。
極 致 可 靠 浪潮分布式存儲在底層硬件上采用通用的X86服務(wù)器,但在firmware上進行了獨特的加固處理,優(yōu)化異常情況的處理,降低異常處理風(fēng)險。同時,在生產(chǎn)上,通過獨特的篩盤機制,從成千上萬塊硬盤中,篩選出最符合要求的硬盤,用于分布式存儲的部件,大幅降低機械硬盤的故障率。 除此之外,在軟件上,通過糾刪碼、RAS架構(gòu)、慢盤檢測等技術(shù),大幅提升系統(tǒng)可靠性,已累計部署超1000套,經(jīng)受過市場的檢驗,并在金融、能源、通信等核心領(lǐng)域廣泛應(yīng)用。在IPFS業(yè)內(nèi)也與如冰河實驗室、星宮數(shù)據(jù)等廠商有合作,可滿足IPFS場景下的存儲需求,方案成熟穩(wěn)定。
極 致 服 務(wù) 浪潮依托于中國第一,世界前三的服務(wù)產(chǎn)量規(guī)模,能為客戶提供全球主要國家地區(qū)的服務(wù)和維保。同時,依托于全球化的供應(yīng)鏈、智能工廠體系,滿足客戶在短期內(nèi)大批量的采購需求,實現(xiàn)資金的高效運轉(zhuǎn)。 同時,浪潮支持遠程的POC測試環(huán)境,針對產(chǎn)品的實際表現(xiàn)若存在疑慮,可申請免費的遠程測試資源,快速完成驗證,避免設(shè)備借物帶來的運輸、時間上的開銷。
極 易 管 理 免費贈送Inview智能管理平臺,實現(xiàn)多套存儲集群的統(tǒng)一監(jiān)控管理,支持歷史性能統(tǒng)計、磁盤故障預(yù)測、性能趨勢預(yù)測、容量趨勢預(yù)測等功能,并能提供北向API接口被集成。大幅提升客戶的易用性,并降低運維成本。
浪潮InView智能管理平臺
未來,隨著5G、AI、大數(shù)據(jù)、區(qū)塊鏈等新技術(shù)的加速普及和商用,數(shù)據(jù)的產(chǎn)生量、產(chǎn)生方式、處理方式將不斷發(fā)生巨大變化,分布式存儲的發(fā)展革新必將成為新數(shù)據(jù)時代下新存儲解決之道。
正是由于在新存儲產(chǎn)業(yè)領(lǐng)域、新行業(yè)應(yīng)用場景的深厚積累和不斷探索,浪潮存儲收獲了第三方機構(gòu)的高度認(rèn)可,多次入選Gartner魔力象限和用戶評測報告。浪潮存儲將繼續(xù)敞開胸懷,探索新興場景下的分布式存儲技術(shù),以新存儲之道釋放數(shù)據(jù)要素價值,在數(shù)據(jù)存儲領(lǐng)域助力各行業(yè)領(lǐng)域業(yè)務(wù)創(chuàng)新,驅(qū)動智慧化轉(zhuǎn)型升級。
原文標(biāo)題:【科技放大鏡】IPFS 愛好者必讀手冊!
文章出處:【微信公眾號:浪潮存儲】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:haq
-
封裝
+關(guān)注
關(guān)注
125文章
7593瀏覽量
142147 -
IP
+關(guān)注
關(guān)注
5文章
1541瀏覽量
148928 -
浪潮
+關(guān)注
關(guān)注
1文章
442瀏覽量
23713
原文標(biāo)題:【科技放大鏡】IPFS 愛好者必讀手冊!
文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論