FCoE曾經(jīng)想一統(tǒng)江湖，但現(xiàn)在已經(jīng)無人問津，NVMe/TCP會重蹈覆轍嗎？

在網(wǎng)絡(luò)江湖上，以太網(wǎng)和IP都有一個夢想，就是統(tǒng)一數(shù)據(jù)中心網(wǎng)絡(luò)，一統(tǒng)網(wǎng)絡(luò)江湖。但是，在存儲網(wǎng)絡(luò)這塊，它們的進(jìn)展不是很順利。FCoE曾經(jīng)風(fēng)光無限，當(dāng)時大有統(tǒng)一數(shù)據(jù)中心網(wǎng)絡(luò)的架勢，但由于FC的頑強(qiáng)抵抗，還是敗下陣來，現(xiàn)在基本被網(wǎng)絡(luò)界拋棄?，F(xiàn)在借助NVMe-oF的發(fā)展，IP又找到了一個機(jī)會，在18年底，NVMe/TCP終于成為標(biāo)準(zhǔn)，這個標(biāo)準(zhǔn)的主要推動者之一，Lightbits Labs，一個Startup公司，也剛剛拿到了Dell參與投資的50m資金，正式走向公眾面前。

這兩天，不斷有朋友問我對這個公司包括NVMe/TCP的未來的看法，我今天就來聊一聊這個話題。

大家知道，NVMe-oF成為標(biāo)準(zhǔn)已經(jīng)有幾年時間了，最初它只支持RDMA，后來加入了FC的支持，現(xiàn)在又加入了TCP的支持。

我們知道，NVMe采用PCIe連接，是基于內(nèi)存映射的協(xié)議，而NVMe-oF卻實(shí)基于消息的，但也可以支持共享內(nèi)存。其中RDMA（包括IB，RoCE，iWarp）這兩種方式都支持，但FC和TCP，只支持消息。

RDMA由于支持兩種機(jī)制，因此命令和回復(fù)封裝都用消息傳輸，但數(shù)據(jù)采用內(nèi)存語義進(jìn)行處理。

但FC和TCP只支持消息，因此，數(shù)據(jù)也是采用消息來傳輸?shù)摹?/p>

感覺TCP的功能沒有RDMA強(qiáng)大??？為啥大家都熱衷發(fā)展NVMe/TCP，并且也把這種方式標(biāo)準(zhǔn)化了呢？這就是TCP的魅力了。因?yàn)門CP無處不在，大家都了解它，還有就是TCP支持長距離大規(guī)模的部署，云環(huán)境下是唯一選擇。雖然在時延和性能抖動上有挑戰(zhàn)，但是也不是不可解決的。

NVMe/TCP其實(shí)原理也很簡單，就是把NVMe-oF的消息封裝在TCP/IP報文里作為負(fù)載進(jìn)行傳輸。

這是NVMe-oF三種傳輸機(jī)制的封裝方式，我們看到，其實(shí)NVMe/TCP和NVMe/FC的傳輸機(jī)制是最像的。

從時延上，TCP的時延還是大于RDMA的，而且還有一個重要的incast問題，即發(fā)生擁塞后大家都停止發(fā)送，然后等待一會，大家又同時開始發(fā)送。

這是TCP典型的鋸齒模式，因此，NVMe/TCP對網(wǎng)絡(luò)的擁塞控制要求非常高。

還好現(xiàn)在新型的數(shù)據(jù)中心交換機(jī)都有優(yōu)先級控制或者流控功能，可以解決incast的問題。

常用的流控協(xié)議就是DCTCP和ECN這些，也就是如果你要用NVMe/TCP，請確認(rèn)交換機(jī)支持這些特性并且做好規(guī)劃。

雖然NVMe/TCP需要現(xiàn)代的數(shù)據(jù)中心交換機(jī)，但是在host端，不需要支持RDMA的HCA卡，普通網(wǎng)卡就可以用，因此成本還是比RDMA要好得多，特別是host很多的情況下。因此，Lightbits和Facebook，Dell EMC，Intel等力推NVMe/TCP在2018年11月15日終于成為國際標(biāo)準(zhǔn)。

從時延的測試看，NVMe/TCP的時延是RDMA的兩倍。但是，由于都是微秒級別，大部分場景下都夠用，而且和iSCSI相比，要好太多了。因此，云廠商Facebook和Google等都非常熱衷這項(xiàng)技術(shù)。

而Lightbits呢，抓住這個機(jī)會，開發(fā)了自己的NVMe/TCP存儲操作系統(tǒng)LightOS。

LightOS有傳統(tǒng)存儲豐富的企業(yè)特性，包括糾刪碼和數(shù)據(jù)縮減，QoS等。

為了進(jìn)行性能加速，Lightsbits還開發(fā)了一塊加速卡，做EC和壓縮加速，也做TCP的卸載。剛開始我以為是一塊NVMe/TCP的加速網(wǎng)卡，后來發(fā)現(xiàn)沒有網(wǎng)口，因此，這個只做加速，還是需要配合網(wǎng)卡使用的。

目前，這塊加速卡和LightOS配合使用，組成一個高性能的NVMe/TCP的分布式存儲。

目前，Lightbits剛剛拿了50m的投資，除了Dell，還有Cisco和Micron等大牌IT廠商背書。

這是三個創(chuàng)始人，其CTO是半導(dǎo)體行業(yè)背景。

個人認(rèn)為NVMe/TCP雖然有TCP的一些固有問題，但是由于云廠商只能選擇這種機(jī)制，因此，不會遭遇FCoE一樣命運(yùn)。

我們看到Pure Storage的NVMe-oF路標(biāo)，今年支持RoCE v2，年底打算支持FC，然后明年打算支持NVMe/TCP。這個時間節(jié)奏我還是比較認(rèn)可的。

但是，我個人認(rèn)為，雖然NVMe/TCP不會死，但是短期也無法統(tǒng)一數(shù)據(jù)中心網(wǎng)絡(luò)。因?yàn)閭鹘y(tǒng)的數(shù)據(jù)中心運(yùn)維人員，對FC都非常熟悉，因此，NVMe/FC還是很多傳統(tǒng)企業(yè)的首選演進(jìn)路徑。因此，NVMe-oF的三種協(xié)議估計在企業(yè)數(shù)據(jù)中心都會存在：

NVMe/FC：傳統(tǒng)存儲，如高端存儲，AFA等關(guān)鍵業(yè)務(wù)場景

NVMe/RDMA：HPC等高性能，低延時場景

NVMe/TCP：云存儲，分布式存儲場景

但是，在公有云上，別無選擇，只能選擇NVMe/TCP。但是，公有云不會購買存儲系統(tǒng)，但是可能會購買某些部件。因此Lightbits在公有云廠商只能賣一賣加速卡，銷售額估計不會太多。其未來真正要成功，必須要在企業(yè)數(shù)據(jù)中心取得成功才有可能。