InfiniBand,InfiniBand是什么意思
InfiniBand,InfiniBand是什么意思
InfiniBand架構(gòu)是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù),在這種技術(shù)中,每種鏈接都可以達到2.5 Gbps的運行速度。這種架構(gòu)在一個鏈接的時候速度是500 MB/秒,四個鏈接的時候速度是2 GB/秒,12個鏈接的時候速度可以達到6 GB /秒。InfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的,它的主要設(shè)計目的是針對服務(wù)器端的連接問題的。因此,InfiniBand技術(shù)將會被應(yīng)用于服務(wù)器與服務(wù)器(比如復(fù)制,分布式工作等),服務(wù)器和存儲設(shè)備(比如SAN和直接存儲附件)以及服務(wù)器和網(wǎng)絡(luò)之間(比如LAN, WANs和the Internet)的通信。 我們?yōu)槭裁葱枰狪nfiniBand? 采用Intel架構(gòu)的處理器的輸入/輸出性能會受到PCI或者PCI-X總線的限制??偩€的吞吐能力是由總線時鐘決定的(比如33.3MHz,66.6MHz 以及133.3MHz)和總線的寬度(比如32位或者64位)。在最通常的配置中,PCI總線速度被限制在500 MB /秒,而PCI-X總線速度被限制在1 GB/秒。這種速度上的限制制約了服務(wù)器和存儲設(shè)備、網(wǎng)絡(luò)節(jié)點以及其他服務(wù)器通訊的能力。在InfiniBand的技術(shù)構(gòu)想中,InfiniBand直接集成到系統(tǒng)板內(nèi),并且直接和CPU以及內(nèi)存子系統(tǒng)互動。但是,在短期內(nèi),InfiniBand支持將由PCI和PCI-X適配器完成;這樣,InfiniBand在最初將會受到總線的制約。在2002年年底,InfiniBand技術(shù)將會完全被整合在Intel服務(wù)器供應(yīng)商以及Sun生產(chǎn)的服務(wù)器中(80%的可能性) 誰在倡導(dǎo)InfiniBand? InfiniBand是由InfiniBand行業(yè)協(xié)會所倡導(dǎo)的。協(xié)會的主要成員是:康柏,戴爾,惠普,IBM,Intel,微軟和Sun。從歷史的角度看,InfiniBand代表了兩種計算潮流的融合:下一代I/O(NGIO)和未來的I-O(FIO)。大部分NGIO和FIO潮流的成員都加入了InfiniBand陣營。 InfiniBand是純硬件的嗎? 不。InfiniBand的成功還需要軟件--包括很多不同的層。這種技術(shù)架構(gòu)和架構(gòu)上的代理(服務(wù)器,存儲設(shè)備,通訊設(shè)備,switche以及其他的一些設(shè)備)都需要軟件管理。應(yīng)用軟件也必須適應(yīng)這種架構(gòu)。操作系統(tǒng)也必須進行調(diào)整以和芯片組進行最優(yōu)化的通信。我們認為InfiniBand的相關(guān)軟件的發(fā)展將會成為InfiniBand產(chǎn)品應(yīng)用的一個瓶頸。但是,到2005年,80%大、中型企業(yè)都會有在數(shù)據(jù)中心環(huán)境下的正式的InfiniBand產(chǎn)品。 Windows 2000支持InfiniBand嗎? 既支持也不支持。在InfiniBand的試制,測試階段,對InfiniBand的支持是由設(shè)備供應(yīng)商的驅(qū)動來提供的,而不是直接由操作系統(tǒng)來支持。而且,微軟沒有時間把對InfiniBand的支持加入到它的Windows 2000中。不過微軟有可能在2002年第二季度把這種支持添加進來。(60%的可能性) InfiniBand會取代線纜通道嗎? 現(xiàn)在還沒有計劃。就象InfiniBand技術(shù)完全被整合到服務(wù)器的軟件和硬件中需要時間一樣,它被完全整合到存儲設(shè)備和SAN中也需要時間。2003年,90%的InfiniBand服務(wù)器會采用InfiniBand-線纜通道、InfiniBand-千兆以太網(wǎng)或者InfiniBand- SCSI橋的方式連接網(wǎng)絡(luò)上的外接存儲。(90%的可能性)。 InfiniBand會取代千兆(或者更快的)以太網(wǎng)嗎? 對這個問題的回答是:不會。以太網(wǎng)是應(yīng)用于高層網(wǎng)絡(luò)通信(比如TCP/IP)的技術(shù),而InfiniBand是用于低層輸入/輸出通信的技術(shù)。即使以太網(wǎng)達到甚至超過了InfiniBand的速度,高層網(wǎng)絡(luò)通信的特點使得它也不能夠成為適合服務(wù)器端輸入/輸出的解決方案。 總結(jié):InfiniBand架構(gòu)肩負著改善服務(wù)器端輸入/輸出性能的使命。但是,InfiniBand不僅僅是芯片和硬件。為了發(fā)揮應(yīng)有的作用,硬件和軟件必須充分在操作系統(tǒng),管理層以及應(yīng)用層整合起來。按照技術(shù)激進程度劃分,“A類型”的企業(yè)將會在2002年第二季度考慮小批量生產(chǎn)InfiniBand產(chǎn)品,而沒有那么激進的企業(yè)可能會等到2003年第一季度或者更遲
如果你還沒有關(guān)注InfiniBand,那要準(zhǔn)備好應(yīng)付鋪天蓋地的相關(guān)信息,甚至是產(chǎn)品。經(jīng)過多年的醞釀,和使其成為規(guī)范的努力,以及實驗室的開發(fā)。InfiniBand即將橫空出世。不管你最終采用InfiniBand,或是放棄,亦或是等等看看,你都要了解這種用于數(shù)據(jù)中心的新型互聯(lián)技術(shù)。
InfiniBand產(chǎn)品正逐步進入市場,預(yù)計在2003年將有大批產(chǎn)品上市。由康柏、戴爾、惠普、IBM、英特爾、微軟和SUN公司于1999年創(chuàng)建的InfiniBand行業(yè)協(xié)會(IBTA),現(xiàn)在有180多加公司參加。這些業(yè)界巨人也組成了籌劃指導(dǎo)委員會。自從2000年1月以來,共吸收了3億美元的風(fēng)險資金,很明顯,InfiniBand是業(yè)界推出的重大項目。
存儲網(wǎng)絡(luò)界的許多大公司認為,InfiniBand將會作為PCI總線的替代品,首先出現(xiàn)在服務(wù)器內(nèi)部。這樣就很容易解釋為什麼他們對InfiniBand互聯(lián)不熱心。但是,沒有什麼事情是必然的。隨著啟動的一系列工作,InfiniBand將會很容易地進入存儲網(wǎng)絡(luò)。如果InfiniBand確實作為PCI的替代品用于數(shù)據(jù)中心,則會出現(xiàn)這樣的情況,或者InfiniBand證明自己同樣適用網(wǎng)絡(luò)傳輸,或者需要進一步的開發(fā)。
這就是要關(guān)注該技術(shù)的原因?;蛟S需要投入時間、資金,并重新規(guī)劃,但是,這會潛在地改進公司的互聯(lián)體系結(jié)構(gòu)。
InfiniBand如何工作
InfiniBand是一個統(tǒng)一的互聯(lián)結(jié)構(gòu),既可以處理存儲I/O、網(wǎng)絡(luò)I/O,也能夠處理進程間通信(IPC)。它可以將磁盤陣列、SANs、LANs、服務(wù)器和集群服務(wù)器進行互聯(lián),也可以連接外部網(wǎng)絡(luò)(比如WAN、VPN、互聯(lián)網(wǎng))。設(shè)計InfiniBand的目的主要是用于企業(yè)數(shù)據(jù)中心,大型的或小型的。目標(biāo)主要是實現(xiàn)高的可靠性、可用性、可擴展性和高的性能。InfiniBand可以在相對短的距離內(nèi)提供高帶寬、低延遲的傳輸,而且在單個或多個互聯(lián)網(wǎng)絡(luò)中支持冗余的I/O通道,因此能保持數(shù)據(jù)中心在局部故障時仍能運轉(zhuǎn)。
如果深入理解,你會發(fā)現(xiàn)InfiniBand與現(xiàn)存的I/O技術(shù)在許多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那樣共享總線,因此沒有相關(guān)的電子限制、仲裁沖突和內(nèi)存一致性問題。相反,InfiniBand在交換式互聯(lián)網(wǎng)絡(luò)上,采用點到點的、基于通道的消息轉(zhuǎn)發(fā)模型,同時,網(wǎng)絡(luò)能夠為兩個不同的節(jié)點提供多種可能的通道。
這些方面,InfiniBand更像以太網(wǎng),而以太網(wǎng)構(gòu)成LANs、WANs和互聯(lián)網(wǎng)的基礎(chǔ)。InfiniBand和以太網(wǎng)都是拓撲獨立――其拓撲結(jié)構(gòu)依賴于交換機和路由器在源和目的之間轉(zhuǎn)發(fā)數(shù)據(jù)分組,而不是靠具體的總線和環(huán)結(jié)構(gòu)。像以太網(wǎng)一樣,InfiniBand能夠在網(wǎng)絡(luò)部件故障時重新路由分組,分組大小也類似。InfiniBand的分組大小從256b到4KB,單個消息(攜帶I/O處理的一系列數(shù)據(jù)分組)可以達到2GB。
以太網(wǎng)跨越全球,InfiniBand則不同,其主要用于只有幾間機房的數(shù)據(jù)中心,分布于校園內(nèi)或者位于城市局部。最大距離很大程度上取決于纜線類型(銅線或光纖)、連接的質(zhì)量、數(shù)據(jù)速率和收發(fā)器。如果是光纖、單模的收發(fā)器和基本數(shù)據(jù)速率的情況下,InfiniBand的最大距離大約是10公里。
如同以太網(wǎng)一樣使用交換機和路由器, InfiniBand在理論上能夠跨越更遠的距離,盡管如此,在實際應(yīng)用中距離要受到更多的限制。為了確保數(shù)據(jù)分組的可靠傳輸,InfiniBand具備諸如反應(yīng)超時、流控等特點,以防止阻塞造成的分組丟失。延長InfiniBand的距離將降低這些特征的有效性,因為延遲超過了合理的范圍。
為了超越數(shù)據(jù)中心的范圍,其它I/O技術(shù)必須解決長距離的問題。InfiniBand廠商通過能夠連接到以太網(wǎng)和光纖通道網(wǎng)絡(luò)的設(shè)備來解決這個問題(光纖通道的最大距離大約為10公里,因此橋接設(shè)備使得InfiniBand能夠與現(xiàn)存的用光纖通道連接的校園網(wǎng)絡(luò)和城域網(wǎng)絡(luò)的分布式數(shù)據(jù)中心相兼容)。
更高的速度
InfiniBand的基本帶寬是2.5Gb/s,這是InfiniBand 1.x。InfiniBand是全雙工的,因此在兩個方向上的理論最大帶寬都是2.5Gb/s,總計5Gb/s。與此相反,PCI是半雙工,因此32位、33MHz的PCI總線單個方向上能達到的理論最大帶寬是1Gb/s,64位、133MHz的PCI-X總線能達到8.5Gb/s,仍然是半雙工。當(dāng)然,任何一種總線的實際吞吐量從來沒有達到理論最大值。
如果要獲取比InfiniBand 1.x更多的帶寬,只要增加更多纜線就行。InfiniBand 1.0規(guī)范于2000年10月完成,支持一個通道內(nèi)多個連接的網(wǎng)絡(luò),數(shù)據(jù)速率可提高4倍(10Gb/s)和12倍(30Gb/s),也是雙向的。
InfiniBand是在串行鏈路上實現(xiàn)超高速率的,因此電纜和連接器相對并行I/O接口PCI、IDE/ATA、SCSI和IEEE-1284來說,接口小也便宜。并行鏈路有一個固有的優(yōu)勢,因為它的多個纜線相當(dāng)于高速公路上的多個車道,但現(xiàn)代的I/O收發(fā)器芯片使串行鏈路達到更高的數(shù)據(jù)速率,并且價格便宜。這就是為什麼最新的技術(shù)――InfiniBand、IEEE-1394、串行ATA、串行連接SCSI、USB采用串行I/O而不是并行I/O。
InfiniBand的擴展性非常高,在一個子網(wǎng)內(nèi)可支持上萬個節(jié)點,而每個網(wǎng)絡(luò)中可有幾千個子網(wǎng),每個安裝的系統(tǒng)中可以有多個網(wǎng)絡(luò)結(jié)構(gòu)。InfiniBand交換機通過子網(wǎng)路由分組,InfiniBand路由器將多個子網(wǎng)連接在一起。相對以太網(wǎng),InfiniBand可以更加分散地進行管理,每個子網(wǎng)內(nèi)有一個管理器,其在路由分組、映射網(wǎng)絡(luò)拓撲、在網(wǎng)絡(luò)內(nèi)提供多個鏈路、監(jiān)視性能方面起決定性的作用。子網(wǎng)管理器也能保證在特別通道內(nèi)的帶寬,并為不同優(yōu)先權(quán)的數(shù)據(jù)流提供不同級別的服務(wù)。子網(wǎng)并不一定是一個單獨的設(shè)備,它可以是內(nèi)置于交換機的智能部件。
虛擬高速公路
為了保證帶寬和不同級別的服務(wù),子網(wǎng)管理器使用虛擬通道,其類似于高速公路的多個車道。通道是虛擬的,而不是實際存在的,因為它不是由實際的纜線組成的。通過使用字節(jié)位元組,并根據(jù)不同的優(yōu)先權(quán),同一對纜線可攜帶不同分組的片斷。
開發(fā)中的標(biāo)準(zhǔn):
產(chǎn)品 物理I/O 主要應(yīng)用 最大帶寬 最大距離
InfiniBand 1x 串行存儲
IPC 網(wǎng)絡(luò) 2.5Gb/s 10公里
InfiniBand 4x 串行-多鏈路 存儲、IPC、網(wǎng)絡(luò) 10Gb/s 10公里
InfiniBand 12x 串行-多鏈路 存儲、IPC、網(wǎng)絡(luò) 30Gb/s 10公里
光纖通道 串行存儲
IPC 網(wǎng)絡(luò) 2Gb/s 10公里
Ultra2 SCSI 16位并行 存儲 0.6Gb/s 12米
Ultra3 SCSI1 6位并行 存儲 1.2Gb/s 12米
IDE/Ultra ATA 100 32位并行 存儲 0.8Gb/s 1米
IEEE-1394a (FireWire) 串行 存儲 0.4Gb/s 4.5米
串行 ATA 1.0 串行 存儲 1.5Gb/s 1米
串行連接SCSI 串行 存儲 未定義 未定義
PCI 2.2 (33/66MHz) 32/64位并行 底板 1 / 2 Gb/s 主板
PCI-X 1.0 (133MHz) 64位并行 底板 8.5Gb/s 主板
PCI-X 2.0 (DDR-QDR) 64位并行 底板 34 Gb/s 主板
InfiniBand 1.0定義了16個虛擬通道,0到15通道。通道15預(yù)留給管理使用,其它通道用于數(shù)據(jù)傳輸。一個通道專用于管理可以防止流量擁塞時妨礙網(wǎng)絡(luò)的正常管理。比如,網(wǎng)絡(luò)隨時準(zhǔn)備改變其拓撲結(jié)構(gòu)。InfiniBand設(shè)備是熱插拔的,從網(wǎng)絡(luò)中拔出設(shè)備時要求網(wǎng)絡(luò)迅速重新配置拓撲映射。子網(wǎng)管理器使用通道15來查詢交換機、路由器和終端節(jié)點其有關(guān)配置的改變。
除了數(shù)據(jù)虛擬通道外預(yù)留虛擬管理通道,這就是帶內(nèi)管理。InfiniBand也提供帶外管理的選項。在InfiniBand的底板配置中,管理信號使用獨立于數(shù)據(jù)通道的特殊通道。底板配置更多用于服務(wù)器內(nèi)和存儲子系統(tǒng),同樣地,PCI和PCI-X的底板也位于此。
除了虛擬通道上直接傳輸,子網(wǎng)管理器也可以對兩個節(jié)點之間的點對點的通道調(diào)整并匹配數(shù)據(jù)速率。比如,如果一個服務(wù)器有一個到網(wǎng)絡(luò)的4倍的接口,而發(fā)送數(shù)據(jù)的目標(biāo)存儲子系統(tǒng)只有1倍的接口,交換機能夠自動建立兼容的1倍通道,而不丟失分組和阻止更高速率的數(shù)據(jù)傳輸。
實現(xiàn)InfiniBand
InfiniBand不是必須要取代現(xiàn)存的I/O技術(shù)。但會造成相關(guān)的爭論,因為其它的I/O標(biāo)準(zhǔn)也有很多的支持者,而且許多公司已經(jīng)對這種傳統(tǒng)的技術(shù)進行大量的投資。在計算機業(yè)界,每一種新技術(shù)的出現(xiàn)都傾向于將其它的技術(shù)規(guī)類于傳統(tǒng)的范疇。至少在理論上,InfiniBand能與PCI、PCI-X、 SCSI、 光纖通道、IDE/ATA、串行 ATA、 IEEE-1394以及其它在數(shù)據(jù)中心存在I/O標(biāo)準(zhǔn)共存。相反,3GIO和HyperTransport是板級的互聯(lián),而快速I/O和致密PCI主要用于內(nèi)嵌式系統(tǒng)。
為了與其它的I/O技術(shù)協(xié)同工作,InfiniBand需要能匹配物理接口和轉(zhuǎn)換通信協(xié)議的橋接適配器。舉例來說,Adaptec正在測試能將InfiniBand連接到串行ATA和串行SCSI的磁盤接口。然而,不要假定你需要的橋接設(shè)備已經(jīng)存在,并且經(jīng)過實際工作的驗證、價格可行。
另一個要考慮的是性能問題。連接兩種不同的I/O標(biāo)準(zhǔn)通常要增加數(shù)據(jù)通道的延遲。在最壞的情況下,將InfiniBand網(wǎng)絡(luò)引入到一個已經(jīng)安裝多個不同技術(shù)組成的網(wǎng)絡(luò)中,如果組織管理差,會降低其整體性能。InfiniBand的支持者聲稱理想的解決方案是完整的InfiniBand體系結(jié)構(gòu)。任何部件都可以直接連接到InfiniBand網(wǎng)絡(luò),可以使用優(yōu)化的文件協(xié)議,最好是使用直接訪問文件系統(tǒng)(DAFS)。
DAFS獨立于傳輸,是基于NFS的共享式文件訪問協(xié)議。它是優(yōu)化過的,用于1到100臺機器的集群服務(wù)器環(huán)境中的I/O密集、CPU受限、面向文件的任務(wù)。典型的應(yīng)用包括數(shù)據(jù)庫、web服務(wù)、e-mail和地理信息系統(tǒng)(GIS),當(dāng)然也包括存儲應(yīng)用。
IT管理員感興趣的其它的與InfiniBand相關(guān)協(xié)議是:SCSI遠程直接內(nèi)存訪問(RDMA)協(xié)議、共享資源協(xié)議(SRP)、IP over InfiniBand (IPoIB)、直接套節(jié)字協(xié)議(SDP)、遠程網(wǎng)絡(luò)驅(qū)動接口規(guī)范(RNDIS)。
SRP的開發(fā)在一些公司進展順利,比如,已經(jīng)開發(fā)出早期版本并運行在Windows 2000上協(xié)議的Adaptec。OEM的廠商和合作伙伴正在測試beta系統(tǒng)。Adaptec認為SRP對于高性能的SANs會相當(dāng)出眾,但必須解決多廠商產(chǎn)品間的兼容。最終版本的SRP可能取決于操作系統(tǒng)的驅(qū)動程序和服務(wù)器的支持,預(yù)計在本年下半年或2003年上半年完成。
IpoIB,將IP協(xié)議映射到InfiniBand,正在被IETF的一個工作組定義。IpoIB包括IPv4/IPv6的地址解析、IPv4/IPv6的數(shù)據(jù)報的封裝、網(wǎng)絡(luò)初始化、組播、廣播和管理信息庫。預(yù)計在本年下半年或2003年上半年完成。
SDP試圖解決其它協(xié)議的幾個缺陷,特別是相對高的CPU和內(nèi)存帶寬的利用率。SDP基于微軟的Winsock Direct協(xié)議,類似于TCP/IP,但優(yōu)化后用于InfiniBand,以降低負荷。一個工作組在2000年下半年開始定義SDP,今年2月完成了1.0規(guī)范。
RNDIS是微軟開發(fā)的協(xié)議,用于基于通道的即插即用總線的網(wǎng)絡(luò)I/O,比如USB和IEEE-1394。InfiniBand RNDIS 1.0規(guī)范即將完成。
不要期望一夜成功
盡管所有的廠商都大肆宣傳,市場分析人員也預(yù)計有良好前景,但不要期望InfiniBand在一夜之間獲得成功,或者失敗。一方面,InfiniBand要求繼續(xù)投資于一個未經(jīng)完全驗證的技術(shù),特別是當(dāng)今經(jīng)濟正從衰退中恢復(fù)。盡管可能生產(chǎn)出更多的InfiniBand產(chǎn)品,而不使現(xiàn)存的設(shè)備過時,但獲得最大收益要求更廣泛地支持InfiniBand技術(shù),因為InfiniBand技術(shù)利用大型交換式網(wǎng)絡(luò)和本地接口和協(xié)議。
一些IT管理員可能會反對這種同時用于存儲、進程間通信和網(wǎng)絡(luò)傳輸?shù)木W(wǎng)絡(luò)結(jié)構(gòu),盡管這是InfiniBand的目的。將不同形式的通信運行在不同的總線和網(wǎng)絡(luò)上可以提供一定的冗余,而InfiniBand也可以通過多個點到點的交換式網(wǎng)絡(luò)同樣提供冗余。但他們認為互相分離的網(wǎng)絡(luò)能夠防止存儲I/O同服務(wù)器和網(wǎng)絡(luò)通信競爭帶寬。
而另一方面的論點是,InfiniBand統(tǒng)一的網(wǎng)絡(luò)結(jié)構(gòu)可以簡化IT管理員的工作。一方面,你不必保留不同形式的備份。連接服務(wù)器的同一種電纜也可以同存儲系統(tǒng)協(xié)同工作,磁盤子系統(tǒng)可以在不同的子系統(tǒng)之間互換。帶寬的爭奪不大可能成為一個問題,因為InfiniBand可以擴展的網(wǎng)絡(luò)結(jié)構(gòu)能提供足夠的帶寬,并且很容易增加。而其它的I/O技術(shù),一旦定義了總線寬度和時鐘頻率,其理論最大帶寬是固定的,你不能僅僅通過插入纜線來增加更多的帶寬容量,但InfiniBand可以做到這一點。
同樣,統(tǒng)一的、可以重新配置的網(wǎng)絡(luò)結(jié)構(gòu)能夠很容易地在存儲、網(wǎng)絡(luò)通信和IPC之間再分配帶寬,而不必關(guān)掉關(guān)鍵系統(tǒng)來更換硬件。
應(yīng)該說,InfiniBand的技術(shù)基礎(chǔ)是穩(wěn)固的。當(dāng)然,除了技術(shù)的原因,新的技術(shù)有時會因為這樣那樣的原因而出現(xiàn)故障。另外,不成熟的市場和高于期望的費用使許多好的點子成為過眼煙云。
Infiniband的現(xiàn)狀和未來
2006年11月13日在美國佛羅里達Tampa召開的一年兩次的巨型計算機博覽會(SC06)上公布的世界前500名巨型機的排名中用于服務(wù)器互聯(lián)的公開標(biāo)準(zhǔn)協(xié)議Infiniband的占有率首次超過了私有協(xié)議Myrinet,而在所有使用了Infiniband的巨型機中Voltaire又以絕對優(yōu)勢占了2/3。另外到今年六月為止的世界前500名巨型計算機排名中占有率一直持續(xù)上漲的千兆以太網(wǎng)也首次下跌18%。至此經(jīng)過3年多的較量,在高性能計算(HPC)領(lǐng)域服務(wù)器互聯(lián)網(wǎng)絡(luò)的首選協(xié)議已經(jīng)明確為Infiniband。在此想就Infiniband的現(xiàn)狀和發(fā)展趨勢向各位讀者做一下介紹。
Infiniband的特點:
Infiniband協(xié)議的主要特點是高帶寬(現(xiàn)有產(chǎn)品的帶寬4xDDR 20Gbps,12x DDR 60Gbps, 4xSDR 10Gbps, 12xSDR 30Gbps、預(yù)計兩年后問世的QDR技術(shù)將會達到4xQDR 40Gbps,12x QDR 120Gbps)、低時延(交換機延時140ns、應(yīng)用程序延時3μs、一年后的新的網(wǎng)卡技術(shù)將使應(yīng)用程序延時降低到1μs水平)、系統(tǒng)擴展性好(可輕松實現(xiàn)完全無擁塞的數(shù)萬端設(shè)備的Infiniband網(wǎng)絡(luò))。另外Infiniband標(biāo)準(zhǔn)支持RDMA(Remote Direct Memory Access),使得在使用Infiniband構(gòu)筑服務(wù)器、存儲器網(wǎng)絡(luò)時比萬兆以太網(wǎng)以及Fibre Channel具有更高的性能、效率和靈活性。
Infiniband與RDMA:
Infiniband發(fā)展的初衷是把服務(wù)器中的總線給網(wǎng)絡(luò)化。所以Infiniband除了具有很強的網(wǎng)絡(luò)性能以外還直接繼承了總線的高帶寬和低時延。大家熟知的在總線技術(shù)中采用的DMA(Direct Memory Access)技術(shù)在Infiniband中以RDMA(Remote Direct Memory Access)的形式得到了繼承。這也使Infiniband在與CPU、內(nèi)存及存儲設(shè)備的交流方面天然地優(yōu)于萬兆以太網(wǎng)以及Fibre Channel??梢韵胂笤谟肐nfiniband構(gòu)筑的服務(wù)器和存儲器網(wǎng)絡(luò)中任意一個服務(wù)器上的CPU可以輕松地通過RDMA去高速搬動其他服務(wù)器中的內(nèi)存或存儲器中的數(shù)據(jù)塊,而這是Fibre Channel和萬兆以太網(wǎng)所不可能做到的。
Infiniband與其他協(xié)議的關(guān)系:
作為總線的網(wǎng)絡(luò)化,Infiniband有責(zé)任將其他進入服務(wù)器的協(xié)議在Infiniband的層面上整合并送入服務(wù)器?;谶@個目的,今天Volatire已經(jīng)開發(fā)了IP到Infiniband的路由器以及Fibre Channel到Infiniband的路由器。這樣一來客觀上就使得目前幾乎所有的網(wǎng)絡(luò)協(xié)議都可以通過Infiniband網(wǎng)絡(luò)整合到服務(wù)器中去。這包括Fibre Channel, IP/GbE, NAS, iSCSI等等。另外2007年下半年Voltaire將推出萬兆以太網(wǎng)到Infiniband的路由器。這里有一個插曲:萬兆以太網(wǎng)在其開發(fā)過程中考慮過多種線纜形式。最后發(fā)現(xiàn)只有Infiniband的線纜和光纖可以滿足其要求。最后萬兆以太網(wǎng)開發(fā)陣營直接采用了Infiniband線纜作為其物理連接層。
Infiniband在存儲中的地位:
今天的Infiniband可以簡單地整合Fibre Channel SAN、NAS以及iSCSI進入服務(wù)器。事實上除了作為網(wǎng)絡(luò)化總線把其他存儲協(xié)議整合進服務(wù)器之外,Infiniband可以發(fā)揮更大的作用。存儲是內(nèi)存的延伸,具有RDMA功能的Infiniband應(yīng)該成為存儲的主流協(xié)議。比較一下Infiniband和Fibre Channel我們可以看到Infiniband的性能是Fibre Channel的5倍,Infiniband交換機的延遲是Fibre Channel交換機的1/10。另外在構(gòu)筑連接所有服務(wù)器和存儲器的高速網(wǎng)絡(luò)時使用Infiniband Fabric可以省去Fiber Channel Fabric,從而給客戶帶來巨大的成本節(jié)省。
今天在使用Infiniband作為存儲協(xié)議方面已經(jīng)有了很大的進展。作為iSCSI RDMA的存儲協(xié)議iSER已被IETF標(biāo)準(zhǔn)化。
不同于Fibre Channel,Infiniband在存儲領(lǐng)域中可以直接支持SAN和NAS。存儲系統(tǒng)已不能滿足于傳統(tǒng)的Fibre Channel SAN所提供的服務(wù)器與裸存儲的網(wǎng)絡(luò)連接架構(gòu)。Fibre Channel SAN加千兆以太網(wǎng)加NFS的架構(gòu)已經(jīng)嚴重限制了系統(tǒng)的性能。在這種情況下應(yīng)運而生的則是由在Infiniband fabric連接起來的服務(wù)器和iSER Infiniband存儲的基礎(chǔ)架構(gòu)之上的并行文件系統(tǒng)(諸如HP的SFS、IBM的GPFS等等)。在未來的服務(wù)器、存儲器網(wǎng)絡(luò)的典型結(jié)構(gòu)將會是由Infiniband將服務(wù)器和Infiniband存儲器直接連接起來,所有的IP數(shù)據(jù)網(wǎng)絡(luò)將會通過萬兆以太網(wǎng)到Infiniband的路由器直接進入Infiniband Fabric。
在存儲廠商方面Sun, SGI, LIS LOGIC,飛康軟件等公司都已推出自己的Infiniband存儲產(chǎn)品。在中國新禾科技公司也推出了他們的Infiniband存儲系統(tǒng)。
從價格的角度,今天的Infiniband是萬兆以太網(wǎng)的幾分之一。Inifiniabnd有比FibreChannel高5倍的性能,在價格上則已與Fibre Channel在同一個數(shù)量級上。
在HPC以外的領(lǐng)域的Infiniband的應(yīng)用:
在過去一年里我們看到Infiniband在HPC以外的領(lǐng)域得到了長足的進步。這主要包括Infiniband在大型網(wǎng)絡(luò)游戲中心的應(yīng)用、Inifiniband在電視媒體編輯及動畫制作方面的應(yīng)用。在證券業(yè)方面,人們也已經(jīng)在著手開發(fā)以Infiniband為核心的高速、低遲延交易系統(tǒng)。在銀行業(yè)我們也看到了一些以Inifiniband全面取代Fibre Channel的努力。
明、后年Infiniband的看點:
Voltaire將于明年秋天推出萬兆以太網(wǎng)到Infiniband的路由器。這將使由Infiniband對數(shù)據(jù)網(wǎng)絡(luò)存儲網(wǎng)絡(luò)的整合得到加速。
Voltaire已經(jīng)開發(fā)出全套的iSER Initiator、Target code。很多存儲合作伙伴在利用Voltaire的iSER code開發(fā)他們獨自Infiniband存儲系統(tǒng)。預(yù)計在明、后年大家會看到更多的Infiniband存儲系統(tǒng)投放市場。
Infiniband已經(jīng)進入刀片服務(wù)器(IBM、HP等等),我們在未來的兩年還會看到這方面更多的努力和成功。
Infiniband標(biāo)準(zhǔn)裝配在服務(wù)器上的努力和成功。
裝載Infiniband存儲的巨型機進入世界前500巨型機列表。
Infiniband在網(wǎng)絡(luò)游戲業(yè)、石油業(yè)、電視媒體業(yè)、制造業(yè)等方面進入企業(yè)級應(yīng)用。
Infiniband:曲高和寡 前途未卜
步入2008,數(shù)據(jù)中心的應(yīng)用環(huán)境發(fā)生了巨大的變化,多核、虛擬化和刀片成為新一代數(shù)據(jù)中心的主流趨勢,在這樣的主流趨勢下,有些人預(yù)測InfiniBand也將迎來其生命周期的黃金時代,有些人則持反對意見
銜著金鑰匙出生
早在2001年,一位國外專家Sandra Gittlen第一次為Network Word的年度熱門問題撰寫了關(guān)于當(dāng)時出現(xiàn)的被稱作的互聯(lián)架構(gòu)的文章。
以下是Sandra Gittlen文章的開篇:
“它就是治療網(wǎng)絡(luò)瓶頸問題的靈丹妙藥,InfiniBand,下一代的個人電腦輸入/輸出架構(gòu),將隨時準(zhǔn)備取代PCI的地位,成為服務(wù)器的新標(biāo)準(zhǔn)。”
那時候,大多數(shù)人都對InfiniBand給予厚望,有充分的理由相信InfiniBand即將闖入市場,將會大展拳腳,并可一舉取代數(shù)據(jù)中心的網(wǎng)絡(luò)。當(dāng)時,有排成行的公司為此下了重資。事實上,有超過2億美元的風(fēng)險投資在那個時候注入了與InfiniBand相關(guān)的公司。其中的翹楚有Dell,HP,Compaq,Intel,IBM,Microsoft和Sun,這些大公司都為這項技術(shù)的發(fā)展而努力著。
InfiniBand,用最簡單的話說,就是在服務(wù)器端一個主機通道適配器和存儲設(shè)備等外設(shè)上的目標(biāo)適配器之間的高速架構(gòu),因為這些適配器之間直接通訊,下載、安全和服務(wù)質(zhì)量等可以內(nèi)置。
適者生存
時間一閃到了2005年,情況發(fā)生了巨變。
那時候,很多早期獲得了關(guān)注的創(chuàng)業(yè)公司或是破產(chǎn),或是被兼并,或是被收購。只有一些幸存了下來。在這段期間,同樣是Sandra Gittlen給Network World寫了另外一篇文章,是關(guān)于高性能計算和數(shù)據(jù)中心用戶在高速度互聯(lián)方面有成千上萬的選擇。
一家存活至今的InfiniBand公司,Mellanox Technologies的市場部副總裁Thad Omura承認:雖然InfinBand技術(shù)發(fā)展至今已經(jīng)相對成熟了,但卻受到了經(jīng)濟衰退的影響?!霸谀嵌问挆l的時期里,人們不會傾向于在新的互聯(lián)技術(shù)上進行投資。”
一晃又是兩年,情況又發(fā)生了一些改變。今天,我們在互聯(lián)方面的投資不斷增加,而如何利用互聯(lián)技術(shù)降低數(shù)據(jù)中心或高性能計算的成本方面也開始回暖。時至今日,恐怕大家又要重新審視這個問題了:InfiniBand的時代終于來臨了嗎?
上個月,IDC發(fā)布了一份有關(guān)InfiniBand的調(diào)研報告,在這份關(guān)于InfiniBand在全世界范圍內(nèi)的發(fā)展預(yù)測中,IDC認為:“正是由于網(wǎng)絡(luò)中不斷增長的需要,才推動了超越從前的重要商業(yè)服務(wù)的出現(xiàn),以前那種服務(wù)器和存儲資源之間的互聯(lián)已經(jīng)不能滿足現(xiàn)在的帶寬和容量了。因此,有些客戶在尋找現(xiàn)有互聯(lián)結(jié)構(gòu)的替代品,能夠完全滿足吞吐量上的要求,也就是需要更多的帶寬和更短的延遲?!?
IDC還認為:“高性能計算,向外擴展的數(shù)據(jù)庫環(huán)境,共享和虛擬化的輸入/輸出,以及有類似高性能計算特征的財務(wù)軟件應(yīng)用已經(jīng)推動了很多InfiniBand的發(fā)展,并將帶來更多InfiniBand的推廣和應(yīng)用?!?
在報告中,IDC預(yù)測2011年InfiniBand產(chǎn)品制造收入將從去年的15,720萬美元升至61,220萬美元。
多核、虛擬化和刀片是推動力
這些消息對于Omura這樣的infiniband廠商來說是個好消息。Omura的客戶包括HP、IBM以及Network Appliance,這些一流的大廠都將InfiniBand技術(shù)使用到了自己的產(chǎn)品中,讓人對infiniband更增添了一些信心。
Omura發(fā)言人表示,目前各種趨勢都在推動這種應(yīng)用。“我們已經(jīng)進入了多核CPU的時代,因此需要更多帶寬和更短的延遲;虛擬化則推動了統(tǒng)一輸入/輸出架構(gòu)進程;刀片服務(wù)器端口有限,但卻連接到同一塊背板上,這些趨勢都在加速著InfiniBand的發(fā)展?!?
根據(jù)infiniband技術(shù)的發(fā)展,InfiniBand的吞吐量目前是20Gb每秒,到2008年能達到40Gb每秒。與之相比的10G以太網(wǎng),2008年之前吞吐量上則不會有什么改變。
此外,對于數(shù)據(jù)中心目前而言最重要的問題是解決延遲時間的問題,InfiniBand延遲時間是1微妙,以太網(wǎng)的延遲則接近于10微秒。
難怪Omura發(fā)言人如此樂觀:“如果InfiniBand可以幫助我們既降低成本,又節(jié)約能源,還有更快的處理速度,人們肯定會選擇它的?!?
他以一個貿(mào)易公司為例,“如果你在交易過程中快了1毫秒,你一年的收益就可以達到1億美元。最先吃螃蟹的是高性能計算領(lǐng)域的公司,其次是金融機構(gòu)。如今我們看到那些數(shù)據(jù)庫驅(qū)動的實時應(yīng)用,比如票務(wù)預(yù)訂系統(tǒng),正在普遍使用InfiniBand產(chǎn)品。”
應(yīng)該說整個IT行業(yè)最近幾年在InfiniBand上的收益可能并不夠豐厚,但是產(chǎn)品的研究與開發(fā)并沒有停滯不前。另外一家InfiniBand公司Mellanox也賺了個盆滿缽滿。他說:“從2001年到2005年,我們的收入年年都翻番。” 而且他認為大規(guī)模生產(chǎn)的出現(xiàn)還要再過上幾個月的時間。
發(fā)展的阻礙
就在一些infiniband廠商對InfiniBand的前途異常樂觀之時,在2005年曾經(jīng)收購了InifiniBand廠商Topspin Communications的Cisco卻認為IDC關(guān)于InfiniBand技術(shù)在企業(yè)級應(yīng)用前景的預(yù)測是“過于樂觀了”。
Cisco的服務(wù)器虛擬化事業(yè)部銷售主管Bill Erdman認為:“目前InfiniBand的應(yīng)用還不足以說明InfiniBand時代的到來?!?
Erdman說延遲時間短是InfiniBand產(chǎn)品的最大價值,但是IDC提到的其他驅(qū)動力,比如虛擬化,則在InfiniBand應(yīng)用上有點困難。
“虛擬化需要特殊的設(shè)備和做好定義的管理范式,輸入/輸出整合則需要在InfiniBand和以太網(wǎng)/光纖通道之間的通路,并且簡單假設(shè)隨著客戶增加應(yīng)用軟件和網(wǎng)站主機層卻不需要額外的防火墻、內(nèi)容負載均衡以及網(wǎng)絡(luò)入侵防御系統(tǒng)等服務(wù)?!彼f,“InfiniBand并沒有和這些服務(wù)整合在一起?!?
Cisco已經(jīng)看到InfiniBand產(chǎn)品在數(shù)據(jù)庫、后端數(shù)據(jù)庫主機以及信息總線程序上的應(yīng)用?!安贿^,如果有其他應(yīng)用程序,需要更豐富的主機服務(wù),以太網(wǎng)仍然是服務(wù)器主機技術(shù)的選擇?!盓rdman表示。
Cisco與IDC意見相左,因此很難說InfiniBand產(chǎn)品是否能最終大舉進攻企業(yè)級市場。但是infiniband技術(shù)已經(jīng)蹣跚了這么久,走了這么遠,筆者有信心infiniband還能繼續(xù)走下去。那就讓我們拭目以待吧。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
相關(guān)閱讀:
- [電子說] InfiniBand和RoCEv2網(wǎng)絡(luò)簡介及解決方案 2023-09-22
- [電子說] 高性能、低延遲的InfiniBand式網(wǎng)絡(luò)并不是唯一的選擇 2023-08-27
- [通信網(wǎng)絡(luò)] InfiniBand的網(wǎng)絡(luò)架構(gòu)及技術(shù)原理解析 2023-08-09
- [電子說] InfiniBand到底是什么技術(shù)?它為什么會倍受追捧? 2023-08-01
- [電子說] 新的 MLPerf 推理網(wǎng)絡(luò)部分展現(xiàn) NVIDIA InfiniBand 網(wǎng)絡(luò)和 GPUDirect RDMA 的強大能力 2023-07-19
- [電子說] 英偉達Quantum-2 Infiniband平臺技術(shù) 2023-07-18
- [電子說] 一顆Jericho3-AI芯片,用來替代InfiniBand? 2023-05-11
- [電子說] RDMA技術(shù)簡介 2023-04-13
( 發(fā)表人:admin )