英偉達(dá)H100，沒(méi)那么缺貨了 !RTX 4090 ，大漲

可以肯定的是，在接下來(lái)的幾個(gè)月里，使用 Nvidia GPU 的長(zhǎng)隊(duì)可能會(huì)變得更短。

過(guò)去幾個(gè)月，眾多大大小小的公司都報(bào)告稱收到了數(shù)千塊 H100 GPU。

這樣，在云端使用 H100 GPU 的排隊(duì)時(shí)間可能會(huì)縮短。數(shù)據(jù)中心提供商和前比特幣挖礦公司正在開(kāi)設(shè)具有 H100 集群的數(shù)據(jù)中心。這些公司承諾以大型云提供商成本的一小部分提供 H100 GPU 計(jì)算，而大型云提供商對(duì) H100 GPU 加速的虛擬機(jī)收取高價(jià)。

亞馬遜最近宣布，將在其網(wǎng)站上對(duì) H100 GPU 進(jìn)行 1 至 14 天的預(yù)訂，以應(yīng)對(duì)未來(lái)需求的激增。

供應(yīng)正常化也有助于企業(yè)將人工智能計(jì)劃付諸實(shí)施。HPCwire 就短缺問(wèn)題是否已得到解決聯(lián)系了 Nvidia，但該公司拒絕發(fā)表評(píng)論。

幾個(gè)月前，特斯拉首席執(zhí)行官埃隆·馬斯克注意到 GPU 短缺，并正在等待接收 Nvidia GPU 以提高人工智能能力。馬斯克表示，特斯拉啟動(dòng)了由 10,000 個(gè) H100 GPU 組成的集群，并且部署速度極快。

“訓(xùn)練是全自動(dòng)駕駛和車輛自主進(jìn)展的根本限制因素，”馬斯克在上個(gè)月的財(cái)報(bào)電話會(huì)議上表示。

Nvidia 一直在對(duì) H100 進(jìn)行配給，并根據(jù) AI 模型的規(guī)模、可用基礎(chǔ)設(shè)施和客戶概況來(lái)評(píng)估客戶。 這家芯片制造商優(yōu)先考慮各個(gè)行業(yè)財(cái)力雄厚的客戶。Nvidia 還選擇了能夠積極反映其 GPU 最佳利用的客戶。特斯拉符合頂級(jí)客戶的形象，擁有明確的人工智能模型。

Nvidia 還提供了關(guān)于客戶何時(shí)收到 H100 GPU 的更清晰的時(shí)間表。數(shù)據(jù)中心提供商 Applied Digital 購(gòu)買了 34,000 個(gè) H100 GPU，其中 26,000 個(gè)將在 4 月份部署，此后還會(huì)再部署 8,000 個(gè)。

Applied Digital 于 9 月開(kāi)始收到 5 月下達(dá)的 GPU 訂單。9 月份，它收到了 1,024 個(gè) GPU，首席執(zhí)行官 Wes Cummins 估計(jì)這個(gè)數(shù)字在 10 月份翻了一番，并且“11 月、12 月以及 1 月份這個(gè)數(shù)字可能會(huì)顯著增加”。

該公司還在北達(dá)科他州埃倫代爾破土動(dòng)工新建一個(gè)高性能計(jì)算數(shù)據(jù)中心，該數(shù)據(jù)中心可在計(jì)算集群中托管 50,000 個(gè) Nvidia H100 SXM 級(jí) GPU。

英偉達(dá)還向能夠簽署采購(gòu)訂單的小型客戶提供服務(wù)。

Iris Energy 正在創(chuàng)建人工智能計(jì)算基礎(chǔ)設(shè)施，支付了約 1000 萬(wàn)美元購(gòu)買了 248 個(gè) Nvidia GPU。預(yù)計(jì)在未來(lái)幾個(gè)月內(nèi)交付。該公司在上個(gè)月向美國(guó)證券交易委員會(huì)提交的一份文件中表示。

H100 將為 Iris Energy 啟動(dòng)一項(xiàng)新的人工智能業(yè)務(wù)，該公司早些時(shí)候已將自己定位為加密貨幣礦工。這家澳大利亞公司看到了更大的生成人工智能市場(chǎng)，并正在改造其位于美國(guó)和加拿大的比特幣挖礦數(shù)據(jù)中心，以進(jìn)行人工智能計(jì)算。

由億萬(wàn)富翁 Jed McCaleb 資助的初創(chuàng)公司Voltage Park 收到了大量 24,000 個(gè) Nvidia H100 GPU，這些 GPU 分布在華盛頓州、德克薩斯州和弗吉尼亞州的集群中。

“訂單是在 2023 年 4 月左右下的。團(tuán)隊(duì)很清楚……緊要關(guān)頭即將到來(lái)，因此他們提前下了一份非常大的訂單，以保證有足夠的供應(yīng)，”Voltage Park 的 Eric Park 在一封電子郵件中表示。

這些 GPU 已經(jīng)為人工智能公司 Imbue 提供服務(wù)，該公司似乎與Voltage Park 有著密切的聯(lián)系。Nvidia 和 Jed McCaleb 創(chuàng)立的 Astera Institute 都是 Imbue 的投資者之一。

Voltage Park 還旨在通過(guò)支持名為 FLOP Auction 的計(jì)劃，為客戶提供廉價(jià)的 H100 GPU 計(jì)算能力。它就像 eBay 在 H100 上進(jìn)行人工智能計(jì)算一樣，出價(jià)最高者獲得服務(wù)器時(shí)間。

Park 表示：“這是一個(gè)早期項(xiàng)目，旨在研究進(jìn)入Voltage Park H100 集群的拍賣機(jī)制。我們的想法是，通過(guò)拍賣時(shí)間而不是合同，這有助于保證市場(chǎng)價(jià)格和透明的流程。”

當(dāng)前每小時(shí) H100 集群FLOP 拍賣的中標(biāo)價(jià)格比Google Cloud 上2017 年發(fā)布的 V100 的每小時(shí)價(jià)格便宜。勝利取決于合同規(guī)模和承諾。

H100 熱潮還為計(jì)算機(jī)硬件的價(jià)值賦予了全新的含義，GPU 成為新業(yè)務(wù)的抵押品。

Crusoe Energy 是一家前加密貨幣礦商，以 20,000 臺(tái) H100 作為抵押，獲得了 2 億美元的融資。同樣，GPU 計(jì)算提供商 CoreWeave 也以 H100 作為抵押獲得了價(jià)值 24 億美元的融資。

Crusoe 的 GPU 容量將于明年第一季度投入使用。該公司已經(jīng)提供了在較舊的 Nvidia GPU 上運(yùn)行的集群。

甚至一家cannabis公司也加入了 H100 熱潮?？偛课挥诳屏_拉多州的 American Cannabis 公司已同意與 HyperScale Nexus Holding Corp. 合并，該公司希望圍繞 Nvidia 的 H100 GPU 創(chuàng)建業(yè)務(wù)。

將內(nèi)存和芯片結(jié)合在一起的 CoWoS 封裝的短缺加劇了 GPU 的短缺。英偉達(dá)正在幫助臺(tái)積電尋找新的合作伙伴和供應(yīng)商來(lái)解決短缺問(wèn)題。

展望未來(lái)，其他因素可能會(huì)意外地結(jié)束短缺并加速 Nvidia 的 GPU 出貨量。

美國(guó)政府最近對(duì)英偉達(dá)向中國(guó)公司出口A800、H800和L40S系列GPU實(shí)施了限制。這可以打開(kāi) CoWoS 封裝并釋放制造能力，為美國(guó)和其他市場(chǎng)生產(chǎn)更多 H100 芯片。

Nvidia 沒(méi)有直接向客戶提供 GPU，而是通過(guò)云提供商租用 GPU 來(lái)擴(kuò)展 H100 容量。云提供商部署的 GPU 服務(wù)器是 DGX 參考模型的復(fù)制品，其中包括 8 個(gè) H100 GPU。

市場(chǎng)研究公司表示：“這一轉(zhuǎn)變還可能激發(fā) Nvidia 擁護(hù)以 A100 或 H100 AI 服務(wù)器為基礎(chǔ)的 DGX 云訂閱和租賃模式的熱情，甚至擴(kuò)大其視野以納入更多樣化的云服務(wù)（L40S 等）。” TrendForce 在 10 月份發(fā)布的研究報(bào)告中表示。

Oracle 在 9 月份宣布全面推出 Nvidia H100 裸機(jī)計(jì)算服務(wù)。

谷歌于 8 月下旬宣布推出 A3 超級(jí)計(jì)算機(jī)，該計(jì)算機(jī)可根據(jù)計(jì)算需求容納多達(dá) 26,000 個(gè) H100 GPU。

微軟首席財(cái)務(wù)官 Amy Hood 在最近的財(cái)報(bào)電話會(huì)議上表示，微軟還提高了 GPU 容量，從而更好地利用其人工智能服務(wù)。

Azure 云服務(wù)是圍繞 Nvidia 的 GPU 構(gòu)建的。微軟宣稱其 Azure 超級(jí)計(jì)算機(jī)是世界上最快的服務(wù)器系統(tǒng)之一。

該公司可能會(huì)在 11 月 21 日的下一次財(cái)報(bào)電話會(huì)議上提供 GPU 供應(yīng)的最新信息。

盡管對(duì) H100 的需求炙手可熱，Nvidia 最近還是宣布了更新的路線圖，計(jì)劃在未來(lái)三年推出新的 GPU。

107000 個(gè)挖礦 GPU 可，供出租用于 AI 工作負(fù)載

加密貨幣熱潮崩潰后，許多加密農(nóng)場(chǎng)留下了大量未使用的 GPU。其中一些公司設(shè)法為他們的 GPU 找到其他用途，但仍有數(shù)千家公司閑置。Io.net 開(kāi)發(fā)了一個(gè)分布式網(wǎng)絡(luò)，可以匯集數(shù)十萬(wàn)個(gè) GPU 并將它們用于人工智能應(yīng)用程序——顯然目前有 107,000 個(gè) GPU 處于等待名單上。

Io.net開(kāi)發(fā)了一個(gè)去中心化物理基礎(chǔ)設(shè)施網(wǎng)絡(luò)（DePIN），支持來(lái)自不同地理位置的數(shù)據(jù)中心和加密貨幣礦工的GPU計(jì)算能力的池化和集群化。該網(wǎng)絡(luò)旨在通過(guò)聚合世界各地未充分利用的 GPU 來(lái)為人工智能和機(jī)器學(xué)習(xí)工作負(fù)載提供資源。為了吸引 GPU 所有者，Io.net 推出了 70 萬(wàn)美元的激勵(lì)計(jì)劃，鼓勵(lì)他們?yōu)榫W(wǎng)絡(luò)貢獻(xiàn)資源。

雖然 Io.net DePIN 的主要想法是聚合數(shù)據(jù)中心和各個(gè)加密貨幣礦工未使用的 GPU 計(jì)算資源，但該公司還與專門從事遠(yuǎn)程渲染的 Render 網(wǎng)絡(luò)合作，以獲得對(duì)額外 GPU 的訪問(wèn)權(quán)限。

Io.net 并不是當(dāng)今唯一的 GPU 資源 DePIN，但該公司表示，它實(shí)際上可以在幾分鐘內(nèi)聚集來(lái)自不同地理位置的 GPU 資源，這與一些競(jìng)爭(zhēng)對(duì)手不同。

Io.net 首席運(yùn)營(yíng)官托里·格林 (Tory Green) 在接受 Cointelegraph 采訪時(shí)表示：“問(wèn)題在于它們并沒(méi)有真正集群?！?“它們主要是單實(shí)例，雖然他們的網(wǎng)站上確實(shí)有集群選項(xiàng)，但銷售人員很可能會(huì)調(diào)用所有不同的數(shù)據(jù)中心來(lái)查看可用的內(nèi)容。”

就功能而言，最接近的競(jìng)爭(zhēng)對(duì)手是面向人工智能的服務(wù)，例如 Akash Network，該網(wǎng)絡(luò)由 8 到 32 個(gè) GPU 組成。

Io.net 的平臺(tái)允許客戶挑選他們想要使用的 GPU 的數(shù)量和位置以及安全設(shè)置，從而使企業(yè)和機(jī)器學(xué)習(xí)工程師能夠更輕松地獲得他們所需的計(jì)算能力。

該公司使用 Solana 區(qū)塊鏈技術(shù)來(lái)管理其網(wǎng)絡(luò)內(nèi)的微交易，以便向 GPU 計(jì)算提供商付款。Solana 的技術(shù)可以促進(jìn)大量小額交易，而傳統(tǒng)區(qū)塊鏈可能無(wú)法有效地處理這些交易，因?yàn)樘幚頃r(shí)間較慢/費(fèi)用較高。這使得 Solana 成為 Io.net 基礎(chǔ)設(shè)施的關(guān)鍵組成部分，使其能夠通過(guò)強(qiáng)大的支付系統(tǒng)運(yùn)行 GPU 計(jì)算能力的去中心化網(wǎng)絡(luò)。

RTX 4090 零售價(jià)格，過(guò)去一個(gè)月上漲 10%

Nvidia RTX 4090目前是最佳顯卡中速度最快的 GPU，在我們的GPU 基準(zhǔn)測(cè)試層次中處于桿位。它從來(lái)就不是一款價(jià)格實(shí)惠的卡，建議零售價(jià)為 1,599 美元，但最近的趨勢(shì)是價(jià)格更高。在美國(guó)，我們看到價(jià)格最低的卡在過(guò)去一個(gè)月的成本上漲了 10%，并且查看亞馬遜上的特定型號(hào)，其中一些價(jià)格上漲得更多。有多種因素可能在起作用。

首先，或許也是最重要的一點(diǎn)，從 11 月 17 日開(kāi)始，RTX 4090 將受到中國(guó)出口限制。這要?dú)w功于其原始計(jì)算能力，但也可能是因?yàn)樗悬c(diǎn)太像數(shù)據(jù)中心 Nvidia L40 和 L40S——它們使用相同的數(shù)據(jù)中心AD102芯片為4090。但限制這些GPU出口到中國(guó)也意味著在中國(guó)組裝顯卡也被禁止。大多數(shù)顯卡公司出于成本原因在中國(guó)進(jìn)行顯卡組裝，因此華碩、技嘉、微星、PNY 等都將不得不將 4090 卡的生產(chǎn)轉(zhuǎn)移到其他地方，而以中國(guó)為中心的品牌可能不得不完全停止生產(chǎn)。

查看 CamelCamelCamel 上的一些定制 RTX 4090 卡，可以深入了解最近幾個(gè)月的進(jìn)展情況。華碩RTX 4090 TUF OC觸底價(jià)為 1,699 美元，但現(xiàn)在售價(jià)為 1,819 美元——亞馬遜上該卡的最高價(jià)格。同樣，華碩 4090 ROG Strix OC在 5 月份觸及 1,885 美元的低點(diǎn)，但在 10 月份飆升至 2,173 美元，目前價(jià)格為 2,640 美元（因?yàn)樗旧先必洠?/p>

我們可以嘗試看看其他 4090 型號(hào)，但還有另一個(gè)令人不安的趨勢(shì)：大多數(shù) 4090 卡開(kāi)始缺貨。是因?yàn)樾枨笤黾恿藛幔窟@是可能的，但可能性不大。更有可能的是，供應(yīng)已經(jīng)枯竭，要么是因?yàn)橹圃斐杀咎撸词且驗(yàn)槠渌?a target="_blank">產(chǎn)品正在醞釀之中。

這就引出了影響價(jià)格和可用性的第三個(gè)潛在因素：傳聞已久的 RTX 4090 Ti。在過(guò)去一年的大部分時(shí)間里，我們一直聽(tīng)到有關(guān) 4090 Ti（有時(shí)也稱為新 Titan RTX）的所謂“泄露”消息。當(dāng)然，Nvidia 在創(chuàng)建 RTX 4090 時(shí)為更高性能的 AD102 部件留出了空間。但考慮到 4090 的 16 針連接器故障及其已經(jīng)有些令人厭惡的 450W TGP 額定值，推出了 600W 或更高的 RTX 4090 Ti TGP 似乎會(huì)帶來(lái)更多問(wèn)題。

盡管如此，最新的Nvidia RTX 4070 Ti Super 傳聞還提到了 RTX 4070 Super、RTX 4080 Super 和 RTX 4090 Ti。這可能會(huì)發(fā)生，也可能不會(huì)發(fā)生，但如果 4090 Ti 將在未來(lái)幾個(gè)月內(nèi)推出（1 月份的 CES 2024 似乎確實(shí)有可能），顯卡制造商幾乎肯定會(huì)停止普通 4090 卡的生產(chǎn)。

這是因?yàn)?4090 目前是光環(huán)產(chǎn)品，價(jià)格也與之相匹配。那些想要盡可能快的 GPU 的人可能會(huì)被吸引去購(gòu)買 4090 而不是 4080，但出于同樣的原因，如果存在 4090 Ti，他們?yōu)槭裁磿?huì)選擇去年推出的倒數(shù)第二個(gè) GPU？換句話說(shuō)，如果 Nvidia 推出 4090 Ti，它很可能會(huì)停產(chǎn) 4090，或者至少減少該部件的產(chǎn)量。

還有另一個(gè)憤世嫉俗的因素也可能在起作用。理論上，黑色星期五 GPU 銷售即將到來(lái)。雖然我們通常不會(huì)看到很多顯卡促銷活動(dòng)，但我們經(jīng)常會(huì)在促銷開(kāi)始前看到價(jià)格呈上漲趨勢(shì)。今年早些時(shí)候售價(jià)為 600 美元的 GPU 可能會(huì)在一個(gè)月左右的時(shí)間內(nèi)突然升至 700 美元，然后再次以 600 美元的價(jià)格“上市”?！肮?jié)省 14%！”

我們無(wú)法確定上述每個(gè)因素如何影響 RTX 4090 的定價(jià)方程，但我們確實(shí)知道4090 的價(jià)格在過(guò)去兩個(gè)月里一直在攀升。理想情況下，我們將在不久的將來(lái)獲得一款新的 RTX 4090 Ti，建議零售價(jià)與 4090 相同，均為 1,599 美元。不幸的是，更有可能的是，這樣的卡——如果它存在并且很快就會(huì)推出——將使建議零售價(jià)提高一個(gè)檔次。無(wú)論如何，我們將繼續(xù)跟蹤價(jià)格，等待事情的最終結(jié)果。