基于PyTorch的深度學(xué)習(xí)入門(mén)教程之DataParallel使用多GPU
前言
本文參考PyTorch官網(wǎng)的教程，分為五個(gè)基本模塊來(lái)介紹PyTorch。為了避免文章過(guò)長(zhǎng)，這五個(gè)模塊分別在五篇博文中介紹。
Part1：PyTorch簡(jiǎn)單知識(shí)
Part2：PyTorch的自動(dòng)梯度計(jì)算
Part3：使用PyTorch構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)
Part4：訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)分類(lèi)器
Part5：數(shù)據(jù)并行化
本文是關(guān)于Part5的內(nèi)容。
Part5：數(shù)據(jù)并行化
本文中，將會(huì)講到DataParallel使用多GPU。
在PyTorch中使用GPU比較簡(jiǎn)單，可以這樣把模型放到GPU上。
model.gpu（）
還可以復(fù)制所有的tensors到GPU上。
mytensor = my_tensor.gpu（）
請(qǐng)注意，單純調(diào)用mytensor.gpu（）不會(huì)拷貝tensor到GPU上。你需要把它分配給一個(gè)新的tensor，然后在GPU上使用這個(gè)新的tensor。
前向和反向傳播可以在多個(gè)GPU上運(yùn)行。但是，PyTorch默認(rèn)只使用一個(gè)GPU。你可以使用DataParallel使得你的模型可以在過(guò)個(gè)GPU上并行運(yùn)算。
model = nn.DataParallel（model）
1 Package導(dǎo)入和參數(shù)設(shè)置
導(dǎo)入PyTorch的模塊并且設(shè)置參數(shù)。
2 虛擬數(shù)據(jù)集
制作虛擬（隨機(jī)）數(shù)據(jù)集，只需要執(zhí)行g(shù)etitem。
class RandomDataset(Dataset): def __init__(self, size, length): self.len = length self.data = torch.randn(length, size) def __getitem__(self, index): return self.data[index] def __len__(self): return self.len rand_loader = DataLoader(dataset=RandomDataset(input_size, 100), batch_size=batch_size, shuffle=True)
3 簡(jiǎn)單模型
作為實(shí)例，我們的模型只是獲取輸入，進(jìn)行線性運(yùn)算，給出結(jié)果。但是，你可以把DataParallel應(yīng)用到任何模型（CNN，RNN，Capsule Net 等等）。
class Model(nn.Module): # Our model def __init__(self, input_size, output_size): super(Model, self).__init__() self.fc = nn.Linear(input_size, output_size) def forward(self, input): output = self.fc(input) print(" In Model: input size", input.size(), "output size", output.size()) return output
4 創(chuàng)建模型和數(shù)據(jù)并行
這是本篇教程的核心內(nèi)容。我們需要制作一個(gè)模型實(shí)例，并檢查是否有多個(gè)GPU。如果有多GPU，可以使用nn.DataParallel打包我們的model。之后，我們可以把利用model.gpu（）把模型放到GPU上。
model = Model(input_size, output_size) if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs model = nn.DataParallel(model) if torch.cuda.is_available(): model.cuda()
5 運(yùn)行模型
for data in rand_loader: if torch.cuda.is_available(): input_var = Variable(data.cuda()) else: input_var = Variable(data) output = model(input_var) print("Outside: input size", input_var.size(), "output_size", output.size())
期望輸出：
In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
6 結(jié)果
（1）如果有2 GPUs，可以看到
# on 2 GPUs Let's use 2 GPUs! In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（2）如果有3 GPUs，可以看到
Let's use 3 GPUs! In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（3）如果有8 GPUs，可以看到
Let's use 8 GPUs! In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
7 總結(jié)
DataParallel將數(shù)據(jù)自動(dòng)分割送到不同的GPU上處理，在每個(gè)模塊完成工作后，DataParallel再收集整合這些結(jié)果返回。
責(zé)任編輯：xj
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
gpu
+關(guān)注
關(guān)注
28文章
4673瀏覽量
128593 -
Data
+關(guān)注
關(guān)注
0文章
62瀏覽量
38225 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5463瀏覽量
120890 -
pytorch
+關(guān)注
關(guān)注
2文章
802瀏覽量
13115
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
PyTorch GPU 加速訓(xùn)練模型方法
在深度學(xué)習(xí)領(lǐng)域，GPU加速訓(xùn)練模型已經(jīng)成為提高訓(xùn)練效率和縮短訓(xùn)練時(shí)間的重要手段。PyTorch作為一個(gè)流行的深度
Pytorch深度學(xué)習(xí)訓(xùn)練的方法
掌握這 17 種方法，用最省力的方式，加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練。
GPU深度學(xué)習(xí)應(yīng)用案例
GPU在深度學(xué)習(xí)中的應(yīng)用廣泛且重要，以下是一些GPU深度學(xué)習(xí)應(yīng)用案例： 一、圖像識(shí)別 圖像識(shí)別是
深度學(xué)習(xí)GPU加速效果如何
圖形處理器（GPU）憑借其強(qiáng)大的并行計(jì)算能力，成為加速深度學(xué)習(xí)任務(wù)的理想選擇。
pytorch和python的關(guān)系是什么
，PyTorch已經(jīng)成為了一個(gè)非常受歡迎的框架。本文將介紹PyTorch和Python之間的關(guān)系，以及它們?cè)?b class='flag-5'>深度學(xué)習(xí)領(lǐng)域的應(yīng)用。 Python簡(jiǎn)介 Python是一種高級(jí)、解釋型、通用
PyTorch深度學(xué)習(xí)開(kāi)發(fā)環(huán)境搭建指南
PyTorch作為一種流行的深度學(xué)習(xí)框架，其開(kāi)發(fā)環(huán)境的搭建對(duì)于深度學(xué)習(xí)研究者和開(kāi)發(fā)者來(lái)說(shuō)至關(guān)重要。在Windows操作系統(tǒng)上搭建
pytorch中有神經(jīng)網(wǎng)絡(luò)模型嗎
當(dāng)然，PyTorch是一個(gè)廣泛使用的深度學(xué)習(xí)框架，它提供了許多預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型。 PyTorch中的神經(jīng)網(wǎng)絡(luò)模型 1. 引言 深度
PyTorch的介紹與使用案例
PyTorch是一個(gè)基于Python的開(kāi)源機(jī)器學(xué)習(xí)庫(kù)，它主要面向深度學(xué)習(xí)和科學(xué)計(jì)算領(lǐng)域。PyTorch由Meta Platforms（原Fa
如何使用PyTorch建立網(wǎng)絡(luò)模型
PyTorch是一個(gè)基于Python的開(kāi)源機(jī)器學(xué)習(xí)庫(kù)，因其易用性、靈活性和強(qiáng)大的動(dòng)態(tài)圖特性，在深度學(xué)習(xí)領(lǐng)域得到了廣泛應(yīng)用。本文將從PyTorch
TensorFlow與PyTorch深度學(xué)習(xí)框架的比較與選擇
深度學(xué)習(xí)作為人工智能領(lǐng)域的一個(gè)重要分支，在過(guò)去十年中取得了顯著的進(jìn)展。在構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型的過(guò)程中，深度
新手小白怎么學(xué)GPU云服務(wù)器跑深度學(xué)習(xí)?
新手小白想用GPU云服務(wù)器跑深度學(xué)習(xí)應(yīng)該怎么做?
用個(gè)人主機(jī)通常pytorch可以跑但是LexNet，AlexNet可能就直接就跑不動(dòng),如何實(shí)現(xiàn)更經(jīng)濟(jì)便捷的實(shí)現(xiàn)
發(fā)表于 06-11 17:09
FPGA在深度學(xué)習(xí)應(yīng)用中或?qū)⑷〈?b class='flag-5'>GPU
現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA) 解決了 GPU 在運(yùn)行深度學(xué)習(xí)模型時(shí)面臨的許多問(wèn)題
在過(guò)去的十年里，人工智能的再一次興起使顯卡行業(yè)受益匪淺。英偉達(dá) (Nvidia) 和 AMD 等公司的股價(jià)也大幅
發(fā)表于 03-21 15:19
allegro快速入門(mén)教程
電子發(fā)燒友網(wǎng)站提供《allegro快速入門(mén)教程.pdf》資料免費(fèi)下載
發(fā)表于 02-29 09:32
?68次下載
GPU在深度學(xué)習(xí)中的應(yīng)用與優(yōu)勢(shì)
人工智能的飛速發(fā)展，深度學(xué)習(xí)作為其重要分支，正在推動(dòng)著諸多領(lǐng)域的創(chuàng)新。在這個(gè)過(guò)程中，GPU扮演著不可或缺的角色。就像超級(jí)英雄電影中的主角一樣，GPU在
工商網(wǎng)監(jiān)
評(píng)論