前言

本文參考PyTorch官網的教程，分為五個基本模塊來介紹PyTorch。為了避免文章過長，這五個模塊分別在五篇博文中介紹。

Part1：PyTorch簡單知識

Part2：PyTorch的自動梯度計算

Part3：使用PyTorch構建一個神經網絡

Part4：訓練一個神經網絡分類器

Part5：數據并行化

本文是關于Part5的內容。

Part5：數據并行化

本文中，將會講到DataParallel使用多GPU。

在PyTorch中使用GPU比較簡單，可以這樣把模型放到GPU上。

model.gpu（）

還可以復制所有的tensors到GPU上。

mytensor = my_tensor.gpu（）

請注意，單純調用mytensor.gpu（）不會拷貝tensor到GPU上。你需要把它分配給一個新的tensor，然后在GPU上使用這個新的tensor。

前向和反向傳播可以在多個GPU上運行。但是，PyTorch默認只使用一個GPU。你可以使用DataParallel使得你的模型可以在過個GPU上并行運算。

model = nn.DataParallel（model）

1 Package導入和參數設置

導入PyTorch的模塊并且設置參數。

2 虛擬數據集

制作虛擬（隨機）數據集，只需要執行getitem。

class RandomDataset(Dataset):

    def __init__(self, size, length):
        self.len = length
        self.data = torch.randn(length, size)

    def __getitem__(self, index):
        return self.data[index]

    def __len__(self):
        return self.len

rand_loader = DataLoader(dataset=RandomDataset(input_size, 100),
                         batch_size=batch_size, shuffle=True)

3 簡單模型

作為實例，我們的模型只是獲取輸入，進行線性運算，給出結果。但是，你可以把DataParallel應用到任何模型（CNN，RNN，Capsule Net 等等）。

class Model(nn.Module):
    # Our model

    def __init__(self, input_size, output_size):
        super(Model, self).__init__()
        self.fc = nn.Linear(input_size, output_size)

    def forward(self, input):
        output = self.fc(input)
        print("  In Model: input size", input.size(),
              "output size", output.size())

        return output

4 創建模型和數據并行

這是本篇教程的核心內容。我們需要制作一個模型實例，并檢查是否有多個GPU。如果有多GPU，可以使用nn.DataParallel打包我們的model。之后，我們可以把利用model.gpu（）把模型放到GPU上。

model = Model(input_size, output_size)
if torch.cuda.device_count() > 1:
  print("Let's use", torch.cuda.device_count(), "GPUs!")
  # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs
  model = nn.DataParallel(model)

if torch.cuda.is_available():
   model.cuda()

5 運行模型

for data in rand_loader:
    if torch.cuda.is_available():
        input_var = Variable(data.cuda())
    else:
        input_var = Variable(data)

    output = model(input_var)
    print("Outside: input size", input_var.size(),
          "output_size", output.size())

期望輸出：

In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
  In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

6 結果

（1）如果有2 GPUs，可以看到

# on 2 GPUs
Let's use 2 GPUs!
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

（2）如果有3 GPUs，可以看到

Let's use 3 GPUs!
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

（3）如果有8 GPUs，可以看到

Let's use 8 GPUs!
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

7 總結

DataParallel將數據自動分割送到不同的GPU上處理，在每個模塊完成工作后，DataParallel再收集整合這些結果返回。

責任編輯：xj

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。舉報投訴

gpu

gpu

+關注

關注
28

文章
4788

瀏覽量
129431
Data

Data

+關注

關注
0

文章
63

瀏覽量
38348
深度學習

深度學習

+關注

關注
73

文章
5518

瀏覽量
121608
pytorch

pytorch

+關注

關注
2

文章
808

瀏覽量
13380

GPU在深度學習中的應用 GPUs在圖形設計中的作用

隨著人工智能技術的飛速發展，深度學習作為其核心部分，已經成為推動技術進步的重要力量。GPU（圖形處理單元）在深度學習中扮演著至關重要的角色，

發表于 11-19 10:55 ?772次閱讀

PyTorch GPU 加速訓練模型方法

在深度學習領域，GPU加速訓練模型已經成為提高訓練效率和縮短訓練時間的重要手段。PyTorch作為一個流行的深度

發表于 11-05 17:43 ?679次閱讀

如何使用 PyTorch 進行強化學習

強化學習（Reinforcement Learning, RL）是一種機器學習方法，它通過與環境的交互來學習如何做出決策，以最大化累積獎勵。PyTorch 是一個流行的開源機器

發表于 11-05 17:34 ?423次閱讀

Pytorch深度學習訓練的方法

掌握這 17 種方法，用最省力的方式，加速你的 Pytorch 深度學習訓練。

發表于 10-28 14:05 ?288次閱讀

<b class='flag-5'>Pytorch</b><b class='flag-5'>深度</b><b class='flag-5'>學習</b>訓練的方法

GPU深度學習應用案例

GPU在深度學習中的應用廣泛且重要，以下是一些GPU深度學習應用案例：一、圖像識別圖像識別是

發表于 10-27 11:13 ?522次閱讀

深度學習GPU加速效果如何

圖形處理器（GPU）憑借其強大的并行計算能力，成為加速深度學習任務的理想選擇。

發表于 10-17 10:07 ?273次閱讀

pytorch和python的關系是什么

，PyTorch已經成為了一個非常受歡迎的框架。本文將介紹PyTorch和Python之間的關系，以及它們在深度學習領域的應用。 Python簡介 Python是一種高級、解釋型、通用

發表于 08-01 15:27 ?2435次閱讀

PyTorch深度學習開發環境搭建指南

PyTorch作為一種流行的深度學習框架，其開發環境的搭建對于深度學習研究者和開發者來說至關重要。在Windows操作系統上搭建

發表于 07-16 18:29 ?1318次閱讀

pytorch中有神經網絡模型嗎

當然，PyTorch是一個廣泛使用的深度學習框架，它提供了許多預訓練的神經網絡模型。 PyTorch中的神經網絡模型 1. 引言深度

發表于 07-11 09:59 ?852次閱讀

PyTorch的介紹與使用案例

PyTorch是一個基于Python的開源機器學習庫，它主要面向深度學習和科學計算領域。PyTorch由Meta Platforms（原Fa

發表于 07-10 14:19 ?479次閱讀

如何使用PyTorch建立網絡模型

PyTorch是一個基于Python的開源機器學習庫，因其易用性、靈活性和強大的動態圖特性，在深度學習領域得到了廣泛應用。本文將從PyTorch

發表于 07-02 14:08 ?480次閱讀

TensorFlow與PyTorch深度學習框架的比較與選擇

深度學習作為人工智能領域的一個重要分支，在過去十年中取得了顯著的進展。在構建和訓練深度學習模型的過程中，深度

發表于 07-02 14:04 ?1101次閱讀

新手小白怎么學GPU云服務器跑深度學習?

新手小白想用GPU云服務器跑深度學習應該怎么做? 用個人主機通常pytorch可以跑但是LexNet，AlexNet可能就直接就跑不動,如何實現更經濟便捷的實現

發表于 06-11 17:09

FPGA在深度學習應用中或將取代GPU

現場可編程門陣列 (FPGA) 解決了 GPU 在運行深度學習模型時面臨的許多問題在過去的十年里，人工智能的再一次興起使顯卡行業受益匪淺。英偉達 (Nvidia) 和 AMD 等公司的股價也大幅

發表于 03-21 15:19

allegro快速入門教程

電子發燒友網站提供《allegro快速入門教程.pdf》資料免費下載

發表于 02-29 09:32 ?72次下載

在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

搜索歷史

基于PyTorch的深度學習入門教程之DataParallel使用多GPU

前言

評論