0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

多源零拷貝技術(shù)在數(shù)據(jù)存儲中起到了怎樣的作用?

浪潮存儲 ? 來源:未知 ? 作者:工程師郭婷 ? 2018-08-05 10:50 ? 次閱讀

在互聯(lián)網(wǎng)、云計(jì)算、AI、大數(shù)據(jù)等新智能應(yīng)用驅(qū)動的新數(shù)據(jù)時代下,數(shù)據(jù)存儲作為一切其他數(shù)據(jù)行為的基礎(chǔ),扮演著越來越重要的角色。浪潮軟件定義存儲AS13000通過模塊化定義的方式,基于多源零拷貝技術(shù)實(shí)現(xiàn)多應(yīng)用高效共享一套存儲系統(tǒng),提高數(shù)據(jù)應(yīng)用效率。

云計(jì)算、大數(shù)據(jù)、AI、物聯(lián)網(wǎng)等各種新智能應(yīng)用不斷涌現(xiàn),帶來數(shù)據(jù)需求的改變。文件、對象等數(shù)據(jù)類型需求增多。一方面,傳統(tǒng)的文件系統(tǒng)存儲服務(wù)正被企業(yè)廣泛應(yīng)用;另一方面,有著鮮明的互聯(lián)網(wǎng)、大數(shù)據(jù)時代特點(diǎn)對象存儲,也越來越受到互聯(lián)網(wǎng)用戶青睞。

每一種存儲分別對應(yīng)不同的訪問協(xié)議,文件存儲主要操作對象是文件和文件夾,例如NFS協(xié)議;對象存儲協(xié)議則主要為S3、Swift。浪潮軟件定義存儲AS13000的優(yōu)勢即在于,通過模塊化定義的方式,實(shí)現(xiàn)了在同一存儲系統(tǒng)中可以同時支持文件、對象等多種存儲協(xié)議,讓用戶通過一套存儲系統(tǒng)即可支持企業(yè)各種應(yīng)用訪問存儲數(shù)據(jù),大大節(jié)省TCO。

1什么是對象存儲?

對象存儲是一種新的采用扁平數(shù)據(jù)的組織形式,并提供基于HTTP協(xié)議的RESTful接口訪問的分布式存儲系統(tǒng)。它適用于一次寫入,多次讀取的非結(jié)構(gòu)化數(shù)據(jù)存儲的需求場景,例如文檔、圖像、視頻網(wǎng)絡(luò)媒體文件。在云計(jì)算與大數(shù)據(jù)時代,對象存儲發(fā)展迅猛。

不過,目前業(yè)界的同類存儲產(chǎn)品,每種存儲系統(tǒng)只能提供1種或2種存儲協(xié)議。對于新增對象存儲需求的用戶,這就要求在多應(yīng)用環(huán)境中必須部署2套或2套以上的存儲系統(tǒng),無疑增加了用戶的初始投資,且增大了后期維護(hù)和管理的難度。

浪潮軟件定義存儲AS13000則通過所提供的多源零拷貝技術(shù),實(shí)現(xiàn)了在線存儲和大數(shù)據(jù)分析存儲的統(tǒng)一融合。企業(yè)的各種應(yīng)用在存取數(shù)據(jù)時,無需在存儲集群間進(jìn)行數(shù)據(jù)拷貝,而是通過文件系統(tǒng)方便地訪問對象存儲的數(shù)據(jù),同時還可以高效實(shí)現(xiàn)大數(shù)據(jù)的分析和挖掘。

2對象存儲:通過多源零拷貝技術(shù),共享一套存儲

多源零拷貝技術(shù),是通過對NFS協(xié)議、HDFS文件協(xié)議和S3/Swift對象協(xié)議多種存儲協(xié)議的融合,來實(shí)現(xiàn)多應(yīng)用存取數(shù)據(jù)共享一套存儲系統(tǒng)的先進(jìn)技術(shù)。多源零拷貝技術(shù)既避免了數(shù)據(jù)在不同存儲之間來回拷貝的問題,又解決了用戶投資大、維護(hù)和管理難的問題。

多源零拷貝技術(shù)示意圖

浪潮軟件定義存儲AS13000之所以可以同時支持NFS、S3/Swift、HDFS(Hadoop分布式文件系統(tǒng))訪問底層對象存儲,是因?yàn)椴捎昧艘韵录夹g(shù):

AS13000基于DOS設(shè)計(jì)和實(shí)現(xiàn)S3/Swift接口。它在S3/Swift接口基礎(chǔ)上封裝FS適配器,實(shí)現(xiàn)了HDFS接口和NFS接口的對接,從而實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用程序和NFS應(yīng)用程序?qū)Υ鎯ο到y(tǒng)的訪問。

AS13000的對象應(yīng)用程序通過S3/Swift接口直接調(diào)用底層存儲系統(tǒng),從而實(shí)現(xiàn)對象應(yīng)用程序?qū)ο髷?shù)據(jù)的上傳與下載。AS13000底層存儲是一個高可用、智能化的分布式對象存儲系統(tǒng),支持自修復(fù)、自管理等底層數(shù)據(jù)管理功能,它向上提供UDOS訪問函數(shù)庫,能夠支持DOS、DFS和DBS等模塊的訪問。3提高對象存儲數(shù)據(jù)訪問效率

浪潮軟件定義存儲AS13000提供的多源零拷貝技術(shù),避免了企業(yè)不同業(yè)務(wù)應(yīng)用數(shù)據(jù)在多存儲系統(tǒng)之間的拷貝,因此可以有效提升數(shù)據(jù)訪問效率,為多場景、多應(yīng)用的“互聯(lián)網(wǎng)+”用戶帶來了優(yōu)勢。

浪潮軟件定義存儲AS13000在醫(yī)療領(lǐng)域慢病跟蹤私有云存儲場景的應(yīng)用

目前,浪潮軟件定義存儲AS13000在各行各業(yè)已經(jīng)有了廣泛應(yīng)用。以醫(yī)療領(lǐng)域應(yīng)用為例,AS13000已經(jīng)應(yīng)用于慢病跟蹤私有云存儲解決方案。系統(tǒng)的數(shù)據(jù)來源包括病人公有云監(jiān)測數(shù)據(jù)、電子病歷文件及數(shù)據(jù)庫、PACS影像數(shù)據(jù)等多種渠道,通過Storming,Spark等流式和批量數(shù)據(jù)分析和運(yùn)算,將HBASE開源數(shù)據(jù)集存儲到AS13000中,然后通過慢病檔案等應(yīng)用,對HBASE結(jié)果數(shù)據(jù)進(jìn)行前端展示,提供輔助治療決策及建議。

浪潮軟件定義存儲AS13000存儲系統(tǒng)的優(yōu)勢在于,支持原生多種文件/對象協(xié)議接口, 通過一套存儲集群,適配多種場景多個應(yīng)用,給醫(yī)院節(jié)省了硬件成本;與此同時,通過數(shù)據(jù)存儲融合,使得Spark、Storm讀取多源數(shù)據(jù)的效率提升,HBASE存儲數(shù)據(jù)效率也得到相應(yīng)提升,從而提升了整個存儲系統(tǒng)的訪問效率。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 云計(jì)算
    +關(guān)注

    關(guān)注

    38

    文章

    7625

    瀏覽量

    136765
  • 互聯(lián)網(wǎng)
    +關(guān)注

    關(guān)注

    54

    文章

    11016

    瀏覽量

    102104
  • 數(shù)據(jù)存儲
    +關(guān)注

    關(guān)注

    5

    文章

    947

    瀏覽量

    50761
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    28902

    瀏覽量

    266280
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8808

    瀏覽量

    137001

原文標(biāo)題:多源零拷貝,提升數(shù)據(jù)應(yīng)用效率的核心技術(shù)

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    觸發(fā)器在數(shù)字電路作用是什么

    觸發(fā)器在數(shù)字電路作用是極其重要且多方面的。作為一種具有記憶功能的電路元件,觸發(fā)器能夠存儲一位二進(jìn)制信息(即0或1),并根據(jù)輸入信號和時鐘信號的變化,在不同狀態(tài)之間切換,從而實(shí)現(xiàn)各種
    的頭像 發(fā)表于 08-30 10:46 ?228次閱讀

    半導(dǎo)體存儲在數(shù)據(jù)中心中的應(yīng)用

    半導(dǎo)體存儲在數(shù)據(jù)中心中的應(yīng)用是極其重要且廣泛的,它們不僅是數(shù)據(jù)中心存儲系統(tǒng)的核心組件,還直接關(guān)系到數(shù)據(jù)處理的效率、可靠性和安全性。以下將詳細(xì)闡述半導(dǎo)體
    的頭像 發(fā)表于 08-20 10:17 ?321次閱讀

    LM3311腳在該電路具體起到什么作用?CF電容怎樣放電的?

    LM3311腳在該電路具體起到什么作用CF電容怎樣放電的
    發(fā)表于 08-13 07:51

    插補(bǔ)在數(shù)控技術(shù)的具體作用是什么

    插補(bǔ)是數(shù)控技術(shù)的一種重要功能,它在數(shù)控機(jī)床的加工過程中發(fā)揮著關(guān)鍵作用。本文將詳細(xì)介紹插補(bǔ)的概念、原理、類型、應(yīng)用以及發(fā)展趨勢。 1. 引言 數(shù)控
    的頭像 發(fā)表于 07-01 11:16 ?746次閱讀

    esp32c3怎樣保護(hù)flash的代碼不被拷貝?

    想知道這個c3怎樣保護(hù)flash的代碼不被拷貝。這個內(nèi)置flash的代碼有沒有可能被拷貝出來,如果可以
    發(fā)表于 06-19 06:32

    態(tài)勢數(shù)據(jù)如何存儲在數(shù)據(jù)庫里面呢

    智慧華盛恒輝態(tài)勢數(shù)據(jù)存儲在數(shù)據(jù)需要遵循一系列原則和步驟,以確保數(shù)據(jù)的完整性、一致性、安全性以及可擴(kuò)展性。以下是關(guān)于態(tài)勢
    的頭像 發(fā)表于 04-22 16:46 ?273次閱讀

    業(yè)務(wù)光端機(jī)在數(shù)據(jù)中心的應(yīng)用:提升網(wǎng)絡(luò)效率的關(guān)鍵

    網(wǎng)絡(luò)效率方面的作用不可忽視。 一、業(yè)務(wù)光端機(jī)在數(shù)據(jù)中心的應(yīng)用 在數(shù)據(jù)中心中,業(yè)務(wù)光端機(jī)主要承擔(dān)以下任務(wù): 高速
    的頭像 發(fā)表于 02-23 14:09 ?480次閱讀

    數(shù)據(jù)技術(shù)是干嘛的 大數(shù)據(jù)核心技術(shù)有哪些

    數(shù)據(jù)技術(shù)是指用來處理和存儲海量、類型、高速的數(shù)據(jù)的一系列技術(shù)和工具。現(xiàn)如今,大
    的頭像 發(fā)表于 01-31 11:07 ?2368次閱讀

    電阻電容并聯(lián)后在電路起到什么作用?

    電阻和電容并聯(lián),運(yùn)放輸出腳和地之間并聯(lián)電阻電容,這個電阻容并聯(lián)起到了一個什么作用,原理是什么?不太像是低通或高通濾波器,那樣的話電阻和電容是串聯(lián)的
    發(fā)表于 01-14 15:10

    如何進(jìn)行拷貝性能測試

    的樣本數(shù)據(jù)量是4M。 未開啟拷貝進(jìn)行數(shù)據(jù)傳輸 $ ros2 run performance_test perf_test --reliable --keep-last --histo
    的頭像 發(fā)表于 11-27 16:51 ?343次閱讀
    如何進(jìn)行<b class='flag-5'>零</b><b class='flag-5'>拷貝</b>性能測試

    什么是拷貝技術(shù)

    的應(yīng)用,經(jīng)常會發(fā)生這種問題,導(dǎo)致CPU都在做數(shù)據(jù)拷貝,沒有時間處理其他的應(yīng)用功能了,直接的感覺就是處理卡頓。 拷貝
    的頭像 發(fā)表于 11-27 16:20 ?381次閱讀
    什么是<b class='flag-5'>零</b><b class='flag-5'>拷貝</b><b class='flag-5'>技術(shù)</b>

    傳統(tǒng)IO演化至拷貝的過程

    拷貝(Zero-Copy)用于在數(shù)據(jù)讀寫過程減少不需要的CPU拷貝,CPU就那么幾個,減少它的負(fù)擔(dān)自然可以提高處理效率。
    的頭像 發(fā)表于 11-09 09:09 ?359次閱讀
    傳統(tǒng)IO演化至<b class='flag-5'>零</b><b class='flag-5'>拷貝</b>的過程

    焊錫膏在SMT貼片加工起到了哪些重要作用?

    從事SMT貼片加工行業(yè)的朋友應(yīng)該都接觸過焊錫膏。購買這種材料時,他們經(jīng)常被要求仔細(xì)選擇,他們需要與焊錫廠家協(xié)商樣品。這是一種非常重要的材料。那么,這么重要的材料起到了什么作用呢?今天佳金錫膏廠家來
    的頭像 發(fā)表于 11-06 18:00 ?858次閱讀
    焊錫膏在SMT貼片加工<b class='flag-5'>中</b><b class='flag-5'>起到了</b>哪些重要<b class='flag-5'>作用</b>?

    請問電容在電路充電后起到什么作用?

    電容在電路充電后起到什么作用?
    發(fā)表于 11-03 08:07

    導(dǎo)軌在數(shù)控機(jī)床起哪些作用

    導(dǎo)軌在數(shù)控機(jī)床起哪些作用?
    的頭像 發(fā)表于 11-02 17:45 ?1195次閱讀
    導(dǎo)軌<b class='flag-5'>在數(shù)</b>控機(jī)床<b class='flag-5'>中</b>起哪些<b class='flag-5'>作用</b>?