地震處理解釋中心的主要工作是將地下地質(zhì)的地震信號(hào),通過地面提取后,用大型計(jì)算機(jī)進(jìn)行處理。形成地下的構(gòu)造以及地下的成像,發(fā)現(xiàn)地下的油氣構(gòu)造,并打井提供更加可靠的勘探數(shù)據(jù)。
地震數(shù)據(jù)的爆炸性增長(zhǎng),對(duì)地震數(shù)據(jù)在存儲(chǔ)系統(tǒng)得出了更高的要求,數(shù)據(jù)體在多個(gè)處理服務(wù)器及解釋工作站之間,如何高速、快捷地傳送,是制約處理解釋周期的關(guān)鍵。網(wǎng)絡(luò)存儲(chǔ)技術(shù)的出現(xiàn),從多個(gè)方面改善了地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的不足。本文通過對(duì)地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的現(xiàn)狀及問題的分析,設(shè)計(jì)了基于網(wǎng)絡(luò)存儲(chǔ)技術(shù)的地震數(shù)據(jù)存儲(chǔ)系統(tǒng),實(shí)施后,極大地提高了各處理服務(wù)器、地震解釋工作之間的數(shù)據(jù)傳輸效率,實(shí)現(xiàn)了地震數(shù)據(jù)處理解釋一體化的布諸和管理。
面臨的挑戰(zhàn)
大慶油田公司研究院地震處理解釋中心擁有聯(lián)想深騰1800萬億次集群并行機(jī)(256個(gè)CPU)、DELL集群并行機(jī)(24個(gè)CPU)和IBM SP2(24個(gè)CPU)等多套地震數(shù)據(jù)處理系統(tǒng),以及近25套(SUN/B2000)地震數(shù)據(jù)解釋工作站,承擔(dān)著三維疊前深度偏移處理、地震目標(biāo)處理和解釋任務(wù)。各處理服務(wù)器及解釋工作站均配置有基于主機(jī)的直接存儲(chǔ)(DAS-Direct Attached Storage)磁盤陳列,DELL配置6TB磁盤、IBM配置900GB磁盤、每臺(tái)SUN/B2000配置180GB磁盤;地震數(shù)據(jù)處理服務(wù)器和解釋工作站采用155MB ATM 技術(shù)構(gòu)成地震處理解釋網(wǎng)絡(luò)。
以SUN工作站為主的地震解釋工作站,分布在研究院處理解釋中心機(jī)房、勘探綜合樓和勘探一室(樓)內(nèi),這些解釋工作站系統(tǒng)利用研究院的ATM(155Mb/s)的主干網(wǎng)絡(luò)互連在一起。在每臺(tái)解釋工作站都有自己的本地磁盤用于存儲(chǔ)地震解釋成果數(shù)據(jù)。地震數(shù)據(jù)處理解釋網(wǎng)絡(luò)結(jié)構(gòu)參見下圖。
從上圖可以看出,研究院使用ATM 155Mb/s的主干網(wǎng)絡(luò)實(shí)現(xiàn)各種解釋工作站系統(tǒng)互連,這些工作站系統(tǒng)分布在處理解釋中心3號(hào)樓(勘探二室)、綜合樓(地震方法室)和勘探一室樓內(nèi),樓與樓之間使用多膜光纖連接,目前傳輸速率為155Mb/s。其中位于處理中心的勘探二室與綜合樓的距離為700米左右。綜合樓到勘探一室的距離為200米左右。在研究院共有近25套SUN工作站運(yùn)行著各種地震解釋軟件,總共使用的磁盤存儲(chǔ)空間為2.5TB。每臺(tái)工作站上都有10M/100M網(wǎng)卡。
隨著野外地震數(shù)據(jù)采集量的爆炸性增長(zhǎng),一塊三維地震工區(qū)的覆蓋面積達(dá)到了600平方千米,原始數(shù)據(jù)量為700GB以上,因此,如何有效地加載、存儲(chǔ)和處理解釋地震數(shù)據(jù),縮短地震數(shù)據(jù)處理解釋周期,對(duì)地震數(shù)據(jù)存儲(chǔ)系統(tǒng)的容量、性能和可用性提出了更高的要求。目前的地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)面臨如下問題:
(1) 數(shù)據(jù)分散存儲(chǔ),非常不利于處理成果數(shù)據(jù)體、解釋中間結(jié)果和成果數(shù)據(jù)的管理及保護(hù);
(2) 地震數(shù)據(jù)不能及時(shí)地被多臺(tái)解釋工作站共享,有時(shí)數(shù)據(jù)的共享需要磁盤加載實(shí)現(xiàn);
(3) 地震數(shù)據(jù)從處理服務(wù)器傳輸?shù)浇忉尮ぷ髡臼艿紸TM網(wǎng)絡(luò)帶寬的限制,制約著地震數(shù)據(jù)處理解釋的生產(chǎn)周期;
(4) 數(shù)據(jù)的分散存儲(chǔ)、管理復(fù)雜,不能被集中存儲(chǔ)管理,給數(shù)據(jù)安全帶來危害。
解決方案
基于研究院地震數(shù)據(jù)存儲(chǔ)管理存在的問題,有必要采用網(wǎng)絡(luò)存儲(chǔ)技術(shù)建立統(tǒng)一的地震數(shù)據(jù)集中存儲(chǔ)管理系統(tǒng),實(shí)現(xiàn)地震數(shù)據(jù)處理系統(tǒng)和解釋工作站之間的數(shù)據(jù)共享和交換,達(dá)到地震數(shù)據(jù)處理解釋一體化的目標(biāo)。地震數(shù)據(jù)處理服務(wù)器完成數(shù)據(jù)處理任務(wù),處理后的CRP道集和成像數(shù)據(jù)體傳送到網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),地震解釋工作站從網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中讀取成果數(shù)據(jù)進(jìn)行解釋、成圖,解釋成果再歸檔到網(wǎng)絡(luò)在存儲(chǔ)系統(tǒng)中,供地質(zhì)綜合研究人員進(jìn)行分析和探井設(shè)計(jì)。方案的技術(shù)關(guān)鍵是建立網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),實(shí)現(xiàn)地震數(shù)據(jù)處理服務(wù)器和解釋工作站之間的數(shù)據(jù)共享和交換,提高處理解釋效率,縮短地震數(shù)據(jù)處理研究周期。
數(shù)據(jù)存儲(chǔ)技術(shù)從 DAS(直接連接存儲(chǔ))到 NAS(網(wǎng)絡(luò)附加存儲(chǔ))、 SAN(存儲(chǔ)局域網(wǎng))的發(fā)展使數(shù)據(jù)應(yīng)用環(huán)境從以服務(wù)器為中心轉(zhuǎn)向以存儲(chǔ)為中心。目前SAN技術(shù)主要面向以塊I/O的高性能數(shù)據(jù)中心應(yīng)用。而NAS則面向以文件共享的小數(shù)據(jù)塊為應(yīng)用的共享分布式存儲(chǔ)應(yīng)用,為TCP/IP網(wǎng)絡(luò)上的各個(gè)服務(wù)器/工作站提供快速的數(shù)據(jù)文件共享。
NetApp公司的NAS存儲(chǔ)技術(shù)是一種專業(yè)的網(wǎng)絡(luò)文件存儲(chǔ)及文件備份技術(shù),或稱為網(wǎng)絡(luò)直聯(lián)存儲(chǔ)設(shè)備、網(wǎng)絡(luò)磁盤陳列。一個(gè)NAS存儲(chǔ)系統(tǒng)中包括核心處理器,文件服務(wù)管理工具,一個(gè)或者多個(gè)的硬盤驅(qū)動(dòng)器用于數(shù)據(jù)的存儲(chǔ)。NAS可以應(yīng)用在任何的網(wǎng)絡(luò)環(huán)境當(dāng)中。主服務(wù)器客戶端可以非常方便地在NAS上存儲(chǔ)任意格式的文件,包括SMB格式(Windows)NFS 格式(Unix, Linux)和CIFS格式等等。NAS系統(tǒng)可以根據(jù)服務(wù)器或者客戶端計(jì)算機(jī)發(fā)出的指令完成對(duì)內(nèi)的文件的管理。另外的特性包括:獨(dú)立于操作系統(tǒng)平臺(tái),不同種類的文件共享,交叉協(xié)議用戶安全性/許可性,瀏覽器界面的操作/管理,和不中斷網(wǎng)絡(luò)來增加和移除服務(wù)器。
1. 地震數(shù)據(jù)處理解釋對(duì)網(wǎng)絡(luò)存儲(chǔ)的需求分析
根據(jù)研究院地震數(shù)據(jù)處理服務(wù)器和解釋工作站所擁有的磁盤存儲(chǔ)空間為9TB和2TB,隨著處理解釋工作量的不斷增加,預(yù)計(jì)存儲(chǔ)處理成果數(shù)據(jù)及解釋成果數(shù)據(jù)的集中存儲(chǔ)空間需要2TB到3TB的容量。因此提出采用NetApp公司的NAS存儲(chǔ)技術(shù)來整合現(xiàn)有的地震處理解釋系統(tǒng)。建設(shè)一個(gè)以NAS為存儲(chǔ)中心的地震數(shù)據(jù)處理解釋系統(tǒng)應(yīng)用環(huán)境。
(1) 容量上的需求
考慮將來的發(fā)展需求和目前現(xiàn)有的存儲(chǔ)空間情況,第一期將NAS文件服務(wù)器配置成2TB或3TB的存儲(chǔ)空間比較適合。一是加載近幾年處理完成的地震成果數(shù)據(jù),加快這些成果數(shù)據(jù)的解釋和應(yīng)用;二是備份現(xiàn)有的各臺(tái)解釋工作站上已完成的解釋成果數(shù)據(jù),實(shí)施解釋成果數(shù)據(jù)的集中存儲(chǔ)與管理;三是加載油田探井的測(cè)井曲線數(shù)據(jù),為探井綜合評(píng)價(jià)提供數(shù)據(jù)服務(wù)。在NAS文件服務(wù)器上實(shí)際配置2TB的存儲(chǔ)容量,使整個(gè)地震數(shù)據(jù)解釋系統(tǒng)的總存儲(chǔ)空間達(dá)到4.5TB(加上原來的2.5TB),并且留有4TB的可擴(kuò)展存儲(chǔ)空間。
(2) 性能上需求
由于地震數(shù)據(jù)處理解釋的數(shù)據(jù)集中存儲(chǔ)在NAS設(shè)備中,這就要求NAS存儲(chǔ)設(shè)備、網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑、都要有適合地震處理數(shù)據(jù)傳輸?shù)男阅?。因此不僅要選用業(yè)界性能最佳的NAS存儲(chǔ)設(shè)備、而且還要局部地改造研究院現(xiàn)有的骨干網(wǎng)絡(luò),提升數(shù)據(jù)傳輸線路的帶寬。
(3) 安全上需求
數(shù)據(jù)安全是地震數(shù)據(jù)處理解釋生產(chǎn)中非常重要的工作,它不僅影響到生產(chǎn)的周期、而且會(huì)影響到研究院多年的地震數(shù)據(jù)處理解釋成果。因此選用的NAS存儲(chǔ)設(shè)備和相應(yīng)的軟件必須具有非常高的安全保護(hù)技術(shù)、達(dá)到數(shù)據(jù)集中后對(duì)數(shù)據(jù)的安全保護(hù)。
(4) 集中簡(jiǎn)單管理需求
數(shù)據(jù)的集中必然帶來了數(shù)據(jù)的管理問題。因此在作到集中管理的同時(shí),還要實(shí)現(xiàn)管理簡(jiǎn)單、界面豐富、實(shí)施容易等需求。
2. 地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)的設(shè)計(jì)目標(biāo)
(1) 地震處理成果數(shù)據(jù)、地震解釋成果數(shù)據(jù)和測(cè)井曲線數(shù)據(jù)將集中存儲(chǔ)到安裝在勘探綜合樓內(nèi)的NAS存儲(chǔ)服務(wù)器中去。實(shí)現(xiàn)重要的地震、測(cè)井?dāng)?shù)據(jù)的集中存儲(chǔ)、管理和共享;
(2) 實(shí)現(xiàn)NAS存儲(chǔ)服務(wù)器與勘探研究科室之間的千兆(1000Mb/s)以太網(wǎng)連接,提高數(shù)據(jù)傳辦輸網(wǎng)絡(luò)的帶寬,各二級(jí)交換機(jī)到用戶解釋工作站之間達(dá)到100Mb/s的桌面連接,保證數(shù)據(jù)的交換速率;
(3) 所有SUN的工作站和NT/WINDOWS系統(tǒng)實(shí)現(xiàn)文件級(jí)共享,保證地震數(shù)據(jù)、測(cè)井?dāng)?shù)據(jù)和必要的文本文件實(shí)現(xiàn)無須手工干預(yù)直接使用;
(4) 保證數(shù)據(jù)的安全,利用NAS存儲(chǔ)服務(wù)器安全性,及SnapShot等技術(shù)保證集中存儲(chǔ)數(shù)據(jù)的安全性;
(5) 盡可能節(jié)省投資,利用研究院現(xiàn)有的光纖等網(wǎng)絡(luò)設(shè)施在充分考慮將來需要的情況下節(jié)省用戶的投資。
3. 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)方案
針對(duì)上述需要分析并結(jié)合NetApp公司的NAS存儲(chǔ)技術(shù),采用NAS存儲(chǔ)技術(shù)對(duì)研究院地震數(shù)據(jù)處理解釋系統(tǒng)進(jìn)行整合是一個(gè)滿足實(shí)際需求的解決方案。
在構(gòu)建研究院地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)時(shí),以NetApp的Filer F840存儲(chǔ)設(shè)備為核心,并對(duì)研究院的骨干網(wǎng)絡(luò)進(jìn)行局部改造,建立基于千兆網(wǎng)絡(luò)技術(shù)的地震處理解釋專網(wǎng),實(shí)現(xiàn)處理服務(wù)器、解釋工作站與NAS存儲(chǔ)器之間的高速傳輸。
(1) 地震數(shù)據(jù)處理解釋網(wǎng)絡(luò)的升級(jí)改造
研究院目前的骨干網(wǎng)絡(luò)是以ATM(155Mb/s)為主干的網(wǎng)絡(luò)。因此需要將地震數(shù)據(jù)處理解釋各個(gè)科室所在的網(wǎng)絡(luò)改造楊1000Mb/s以太網(wǎng)絡(luò),在網(wǎng)絡(luò)升級(jí)改造方案中使用CISCO的骨干交換機(jī)來建立地震處理解釋專網(wǎng)。
(2) 各個(gè)建筑物之間網(wǎng)絡(luò)光纖的改造
NAS設(shè)備F840將安裝在勘探綜合樓,與勘探二室所在的處理中心樓之間的距離大約有700米,使用目前的多膜光纖在1000Mb/s的傳輸下只能支持550米,因此要使用光纖中繼器或延伸器來實(shí)現(xiàn),使用光纖中繼器是在現(xiàn)有光纖中間安裝中繼器來實(shí)現(xiàn),使用延伸器是在光纖的兩端安裝延伸器來實(shí)現(xiàn),但費(fèi)用稍高;勘探綜合樓與勘探一室之間的距離為200米,使用目前的多膜光纖即可。
(3) 地震數(shù)據(jù)處理解釋存儲(chǔ)方案總體設(shè)計(jì)
根據(jù)實(shí)際需求,設(shè)計(jì)了以NetApp NAS文件服務(wù)器F840為核心的研究院地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)。
從上述的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖中,NAS存儲(chǔ)器F840安裝在綜合樓內(nèi),配置CISCO的Catlyst4003交換機(jī)作為中心交換機(jī)。F840利用兩個(gè)1000Mb/s的接口與中心交換機(jī)4003利用多膜光纖連接。而4003中心交換機(jī)和在計(jì)算中心1號(hào)樓、地震數(shù)據(jù)處理一室配置的CISCO Cat3524之間借助目前以有的多膜光纖來實(shí)現(xiàn)連接。地震數(shù)據(jù)解釋工作站利用100Mb/s的以太網(wǎng)卡的RJ45實(shí)現(xiàn)上連。計(jì)算中心1號(hào)樓與綜合樓之間距離超過550米,因此方案使用光纖延長(zhǎng)器(2個(gè))來實(shí)現(xiàn)連接。
該方案的整體設(shè)計(jì)思想是在勘探綜合樓內(nèi)配置CISCO Cat4003中心交換機(jī)和NetApp的F840文件服務(wù)器。在F840上配有兩個(gè)1000Mb/s的多膜光纖接口實(shí)現(xiàn)與中心交換的冗余連接。在勘探兩個(gè)科室內(nèi)分別配置一臺(tái)CISCO 3524交換機(jī),實(shí)現(xiàn)1000Mb/s上連,及100Mb/s的下連到解釋工作站。保證了數(shù)據(jù)傳輸性能和數(shù)據(jù)的安全存儲(chǔ)。整個(gè)方案充分體現(xiàn)了以NAS為中心的存儲(chǔ)整合。
NAS存儲(chǔ)設(shè)備選用業(yè)界技術(shù)最成熟、性能最優(yōu)、應(yīng)用廣泛的NetApp F840
綜合樓的中心交換機(jī)選用業(yè)界技術(shù)最先進(jìn)的CISCO公司的Catalyst 4003
安裝在計(jì)算中心1號(hào)樓(勘探二室)、勘探一室的二級(jí)交換機(jī)選用CISCO的Catalyst3524
在計(jì)算機(jī)中心一號(hào)(勘探二室)與綜合樓之間用于光纖信號(hào)增強(qiáng)的光纖延伸器選用美國(guó)MRV公司的Fiber Driver Gigabit Multimode Extender
4. 網(wǎng)絡(luò)存儲(chǔ)方案的實(shí)施
(1) 千兆網(wǎng)絡(luò)環(huán)境的安裝調(diào)試
在指定地點(diǎn)安裝MRV光纖延伸器和CISCO公司的Catalyst4003、C3524交換機(jī);上電配置C4003和C3524,提供交換機(jī)的管理IP/掩碼,設(shè)備命名規(guī)則,網(wǎng)關(guān)地址、DNS IP和域名、VLAN號(hào)分配規(guī)則、C4003上聯(lián)到骨干交換機(jī);進(jìn)行網(wǎng)絡(luò)連接及連網(wǎng)測(cè)試,并構(gòu)成NAS所需的網(wǎng)絡(luò)環(huán)境。
(2) F840存儲(chǔ)服務(wù)器的安裝調(diào)試
F840存儲(chǔ)服務(wù)器的控制器、磁盤柜上架;網(wǎng)絡(luò)電纜連接到F840上;提供F840的IP地址和子網(wǎng)掩碼,DNS服務(wù)器的IP地址,缺省網(wǎng)關(guān)的IP地址,F(xiàn)840主機(jī)名,須有mail主機(jī)名和IP地址,須有網(wǎng)絡(luò)工作站,至少于Hot Spare、兩塊備用、剩余36塊分成(9+1)4個(gè)RAID組;在F840上安裝調(diào)試NFS、CIFS、SnapRestore等軟件;當(dāng)所有設(shè)備安裝調(diào)試完成后,將進(jìn)入系統(tǒng)聯(lián)調(diào)階段,聯(lián)調(diào)階段要調(diào)通網(wǎng)絡(luò)功能、文件共享功能、快照功能及快照恢復(fù)功能。
運(yùn)行效果
2003年初地震數(shù)據(jù)處理解釋存儲(chǔ)系統(tǒng)投入生產(chǎn),主要應(yīng)用于地震處理成果數(shù)據(jù)、地震解釋成果數(shù)據(jù)和探井測(cè)井曲線數(shù)據(jù)的存儲(chǔ)和管理。
NAS存儲(chǔ)服務(wù)器上配置了39塊72GB FC磁盤,目前使用了34塊磁盤作為數(shù)據(jù)盤,另外的5塊盤作為Spare Disks.磁盤的劃分見下表:
NAS存儲(chǔ)服務(wù)器的磁盤劃分
Name Used Total Avall. Dlsks
Vo10
(root) 0% 53.8GB 53.5GB 2
Vo11 66% 376GB 127GB 8
Vo12 81% 376GB 70.2GB 8
Vo13 100% 376GB 0Bytes 8
Vo14 99% 376GB 3.64GB 8
其中:
Vo10用作系統(tǒng)盤;
Vo11用來存儲(chǔ)測(cè)井?dāng)?shù)據(jù),使用了249GB的磁盤空間;
Vo12用來存儲(chǔ)地震解釋成果數(shù)據(jù),使用了306GB的空間;
Vo13、vo14用來存儲(chǔ)地震成果數(shù)據(jù),使用了753GB的磁盤空間。
NAS盤上的數(shù)據(jù),主要采用了NFS方式出口給勘探科室的地震數(shù)據(jù)解釋工作站,用于遠(yuǎn)程數(shù)據(jù)文件服務(wù),用戶可以方便快捷地下載地震數(shù)據(jù)和測(cè)井?dāng)?shù)據(jù)。系統(tǒng)管理員主要通過HTTP方式,在辦公室的微機(jī)上,使用NAS的FilerView功能來管理NAS系統(tǒng)。在數(shù)據(jù)安全管理方面,開啟了NAS存儲(chǔ)服務(wù)器的快照功能(SnapShot),每日白天三次,晚間快照2次。
NAS存儲(chǔ)系統(tǒng)運(yùn)行期間,會(huì)定期發(fā)出E-mail給系統(tǒng)管理人員和NetApp的客服中心,及時(shí)報(bào)告系統(tǒng)的運(yùn)行況狀和故障信息,NETAPP公司有專門人員檢查NAS存儲(chǔ)系統(tǒng)的運(yùn)行情況,出現(xiàn)的錯(cuò)誤,他們會(huì)及時(shí)定位、排除。
到目前為止,整個(gè)NAS存儲(chǔ)系統(tǒng)運(yùn)行正常,滿足了油氣勘探攻關(guān)項(xiàng)目的數(shù)據(jù)需求,解決了勘探項(xiàng)目組不能及時(shí)得到地震處理成果數(shù)據(jù)、測(cè)井曲線數(shù)據(jù),影響地質(zhì)綜合研究及井位設(shè)計(jì)進(jìn)度的問題。據(jù)勘探研究人員測(cè)算,該存儲(chǔ)系統(tǒng)的成功應(yīng)用,使勘探研究人員加載地震和測(cè)井?dāng)?shù)據(jù)的時(shí)間縮短了2/3;地震解釋成果數(shù)據(jù)的及時(shí)傳送,加快了地質(zhì)分析和成圖的進(jìn)度;并且實(shí)現(xiàn)了地震、測(cè)井?dāng)?shù)據(jù)存儲(chǔ)管理的高可靠性、高可用性和高安全性的目的。
責(zé)任編輯:gt
-
光纖
+關(guān)注
關(guān)注
19文章
3835瀏覽量
72874 -
服務(wù)器
+關(guān)注
關(guān)注
12文章
8958瀏覽量
85084 -
存儲(chǔ)系統(tǒng)
+關(guān)注
關(guān)注
2文章
402瀏覽量
40823
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論