在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

電子發(fā)燒友App

硬聲App

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示
創(chuàng)作
電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程6.1之層和模塊

PyTorch教程6.1之層和模塊

2023-06-05 | pdf | 0.20 MB | 次下載 | 免費(fèi)

資料介紹

當(dāng)我們第一次引入神經(jīng)網(wǎng)絡(luò)時,我們專注于具有單一輸出的線性模型。在這里,整個模型只包含一個神經(jīng)元。請注意,單個神經(jīng)元 (i) 接受一組輸入;(ii) 生成相應(yīng)的標(biāo)量輸出;(iii) 有一組相關(guān)參數(shù),可以更新這些參數(shù)以優(yōu)化一些感興趣的目標(biāo)函數(shù)。然后,一旦我們開始考慮具有多個輸出的網(wǎng)絡(luò),我們就利用矢量化算法來表征整個神經(jīng)元層。就像單個神經(jīng)元一樣,層 (i) 采用一組輸入,(ii) 生成相應(yīng)的輸出,并且 (iii) 由一組可調(diào)參數(shù)描述。當(dāng)我們進(jìn)行 softmax 回歸時,單層本身就是模型。然而,即使我們隨后引入了 MLP,

有趣的是,對于 MLP,整個模型及其組成層都共享這種結(jié)構(gòu)。整個模型接受原始輸入(特征),生成輸出(預(yù)測),并擁有參數(shù)(來自所有構(gòu)成層的組合參數(shù))。同樣,每個單獨(dú)的層攝取輸入(由前一層提供)生成輸出(后續(xù)層的輸入),并擁有一組可調(diào)參數(shù),這些參數(shù)根據(jù)從后續(xù)層向后流動的信號進(jìn)行更新。

雖然您可能認(rèn)為神經(jīng)元、層和模型為我們提供了足夠的抽象來開展我們的業(yè)務(wù),但事實證明,我們經(jīng)常發(fā)現(xiàn)談?wù)摫葐蝹€層大但比整個模型小的組件很方便。例如,在計算機(jī)視覺領(lǐng)域廣受歡迎的 ResNet-152 架構(gòu)擁有數(shù)百層。這些層由層組的重復(fù)圖案組成。一次一層地實現(xiàn)這樣的網(wǎng)絡(luò)會變得乏味。這種擔(dān)憂不僅僅是假設(shè)——這樣的設(shè)計模式在實踐中很常見。上面提到的 ResNet 架構(gòu)贏得了 2015 年 ImageNet 和 COCO 計算機(jī)視覺識別和檢測競賽He et al. , 2016并且仍然是許多視覺任務(wù)的首選架構(gòu)。層以各種重復(fù)模式排列的類似架構(gòu)現(xiàn)在在其他領(lǐng)域無處不在,包括自然語言處理和語音。

為了實現(xiàn)這些復(fù)雜的網(wǎng)絡(luò),我們引入了神經(jīng)網(wǎng)絡(luò)模塊的概念。模塊可以描述單個層、由多個層組成的組件或整個模型本身!使用模塊抽象的一個好處是它們可以組合成更大的工件,通常是遞歸的。如圖 6.1.1所示。通過定義代碼以按需生成任意復(fù)雜度的模塊,我們可以編寫出奇緊湊的代碼并仍然實現(xiàn)復(fù)雜的神經(jīng)網(wǎng)絡(luò)。

https://file.elecfans.com/web2/M00/A9/C7/poYBAGR9NP2AcRNaAAJd7roQfBs959.svg

圖 6.1.1多層組合成模塊,形成更大模型的重復(fù)模式。

編程的角度來看,模塊由表示。它的任何子類都必須定義一個前向傳播方法,將其輸入轉(zhuǎn)換為輸出,并且必須存儲任何必要的參數(shù)。請注意,某些模塊根本不需要任何參數(shù)。最后,為了計算梯度,模塊必須具有反向傳播方法。幸運(yùn)的是,由于自動微分(在2.5 節(jié)中介紹)在定義我們自己的模塊時提供了一些幕后魔法,我們只需要擔(dān)心參數(shù)和前向傳播方法。

import torch
from torch import nn
from torch.nn import functional as F
from mxnet import np, npx
from mxnet.gluon import nn

npx.set_np()
from typing import List
import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l
No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)
import tensorflow as tf

首先,我們重新審視用于實現(xiàn) MLP 的代碼(第 5.1 節(jié))。以下代碼生成一個網(wǎng)絡(luò),該網(wǎng)絡(luò)具有一個具有 256 個單元和 ReLU 激活的全連接隱藏層,后跟一個具有 10 個單元的全連接輸出層(無激活函數(shù))。

net = nn.Sequential(nn.LazyLinear(256), nn.ReLU(), nn.LazyLinear(10))

X = torch.rand(2, 20)
net(X).shape
torch.Size([2, 10])

在這個例子中,我們通過實例化一個 來構(gòu)造我們的模型 nn.Sequential,層按照它們應(yīng)該被執(zhí)行的順序作為參數(shù)傳遞。簡而言之,nn.Sequential定義了一種特殊的Module,在 PyTorch 中呈現(xiàn)模塊的類。它維護(hù)一個有序的 constituent 列表Module。請注意,兩個完全連接的層中的每一個都是該類的一個實例,Linear該類本身是 的子類Module前向傳播 ( forward) 方法也非常簡單:它將列表中的每個模塊鏈接在一起,將每個模塊的輸出作為輸入傳遞給下一個模塊。請注意,到目前為止,我們一直在通過構(gòu)造調(diào)用我們的模型 net(X)以獲得它們的輸出。這實際上只是 net.__call__(X).

net = nn.Sequential()
net.add(nn.Dense(256, activation='relu'))
net.add(nn.Dense(10))
net.initialize()

X = np.random.uniform(size=(2, 20))
net(X).shape
(2, 10)

In this example, we constructed our model by instantiating an nn.Sequential, assigning the returned object to the net variable. Next, we repeatedly call its add method, appending layers in the order that they should be executed. In short, nn.Sequential defines a special kind of Block, the class that presents a module in Gluon. It maintains an ordered list of constituent Blocks. The add method simply facilitates the addition of each successive Block to the list. Note that each layer is an instance of the Dense class which is itself a subclass of Block. The forward propagation (forward) method is also remarkably simple: it chains each Block in the list together, passing the output of each as input to the next. Note that until now, we have been invoking our models via the construction net(X) to obtain their outputs. This is actually just shorthand for net.forward(X), a slick Python trick achieved via the Block class’s __call__ method.

net = nn.Sequential([nn.Dense(256), nn.relu, nn.Dense(10)])

# get_key is a d2l saved function returning jax.random.PRNGKey(random_seed)
X = jax.random.uniform(d2l.get_key(), (2, 20))
params = net.init(d2l.get_key(), X)
net.apply(params, X).shape
(2, 10)
net = tf.keras.models.Sequential([
  tf.keras.layers.Dense(256, activation=tf.nn.relu),
  tf.keras.layers.Dense(10),
])

X = tf.random.uniform((2, 20))
net(X).shape
TensorShape([2, 10])

In this example, we constructed our model by instantiating an keras.models.Sequential, with layers in the order that they should be executed passed as arguments. In short, Sequential defines a special kind of keras.Model, the class that presents a module in Keras. It maintains an ordered list of constituent Models. Note that each of the two fully connected layers is an instance of the Dense class which is itself a subclass of Model. The forward propagation (call) method is also remarkably simple: it chains each module in the list together, passing the output of each as input to the next. Note that until now, we have been invoking our models via the construction net(X) to obtain their outputs. This is actually just shorthand for net.call(X), a slick Python trick achieved via the module class’s __call__ method.

6.1.1. 自定義模塊

也許培養(yǎng)關(guān)于模塊如何工作的直覺的最簡單方法是我們自己實現(xiàn)一個。在我們實現(xiàn)自己的自定義模塊之前,我們先簡單總結(jié)一下每個模塊必須提供的基本功能:

  1. 攝取輸入數(shù)據(jù)作為其前向傳播方法的參數(shù)。

  2. 通過讓前向傳播方法返回一個值來生成輸出。請注意,輸出可能具有與輸入不同的形狀。例如,我們上面模型中的第一個全連接層接收任意維度的輸入,但返回 256 維度的輸出。

  3. 計算其輸出相對于其輸入的梯度,可以通過其反向傳播方法訪問。通常這會自動發(fā)生。

  4. 存儲并提供對執(zhí)行前向傳播計算所需的那些參數(shù)的訪問。

  5. 根據(jù)需要初始化模型參數(shù)。

在下面的代碼片段中,我們從頭開始編寫一個模塊,對應(yīng)于一個包含 256 個隱藏單元的隱藏層和一個 10 維輸出層的 MLP。請注意,MLP下面的類繼承了代表模塊的類。我們將嚴(yán)重依賴父類的方法,僅提供我們自己的構(gòu)造函數(shù)(__init__ Python 中的方法)和前向傳播方法。

class MLP(nn.Module):
  def __init__(self):
    # Call the constructor of the parent class nn.Module to perform
    # the necessary initialization
    super().__init__()
    self.hidden = nn.LazyLinear(256)
    self.out = nn.LazyLinear(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def forward(self, X):
    return self.out(F.relu(self.hidden(X)))
class MLP(nn.Block):
  def __init__(self):
    # Call the constructor of the MLP parent class nn.Block to perform
    # the necessary initialization
    super().__init__()
    self.hidden = nn.Dense(256, activation='relu')
    self.out = nn.Dense(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def forward(self, X):
    return self.out(self.hidden(X))
class MLP(nn.Module):
  def setup(self):
    # Define the layers
    self.hidden = nn.Dense(256)
    self.out = nn.Dense(10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def __call__(self, X):
    return self.out(nn.relu(self.hidden(X)))
class MLP(tf.keras.Model):
  def __init__(self):
    # Call the constructor of the parent class tf.keras.Model to perform
    # the necessary initialization
    super().__init__()
    self.hidden = tf.keras.layers.Dense(units=256, activation=tf.nn.relu)
    self.out = tf.keras.layers.Dense(units=10)

  # Define the forward propagation of the model, that is, how to return the
  # required model output based on the input X
  def call(self, X):
    return self.out(self.hidden((X)))

讓我們首先關(guān)注前向傳播方法。請注意,它以 X輸入為輸入,應(yīng)用激活函數(shù)計算隱藏表示,并輸出其對數(shù)。在這個MLP 實現(xiàn)中,兩層都是實例變量。要了解為什么這是合理的,想象一下實例化兩個 MLPnet1net2,并在不同的數(shù)據(jù)上訓(xùn)練它們。自然地,我們希望它們代表兩種不同的學(xué)習(xí)模型。

我們在構(gòu)造函數(shù)中實例化 MLP 的層,隨后在每次調(diào)用前向傳播方法時調(diào)用這些層。注意幾個關(guān)鍵細(xì)節(jié)。首先,我們的自定義方法通過讓我們免于重述適用于大多數(shù)模塊的樣板代碼的痛苦來__init__調(diào)用父類的方法。然后我們實例化我們的兩個完全連接的層,將它們分配給 。請注意,除非我們實現(xiàn)一個新層,否則我們不必?fù)?dān)心反向傳播方法或參數(shù)初始化。系統(tǒng)會自動生成這些方法。讓我們試試這個。__init__super().__init__()self.hidden


下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊
  2. 1.06 MB  |  532次下載  |  免費(fèi)
  3. 2RK3399完整板原理圖(支持平板,盒子VR)
  4. 3.28 MB  |  339次下載  |  免費(fèi)
  5. 3TC358743XBG評估板參考手冊
  6. 1.36 MB  |  330次下載  |  免費(fèi)
  7. 4DFM軟件使用教程
  8. 0.84 MB  |  295次下載  |  免費(fèi)
  9. 5元宇宙深度解析—未來的未來-風(fēng)口還是泡沫
  10. 6.40 MB  |  227次下載  |  免費(fèi)
  11. 6迪文DGUS開發(fā)指南
  12. 31.67 MB  |  194次下載  |  免費(fèi)
  13. 7元宇宙底層硬件系列報告
  14. 13.42 MB  |  182次下載  |  免費(fèi)
  15. 8FP5207XR-G1中文應(yīng)用手冊
  16. 1.09 MB  |  178次下載  |  免費(fèi)

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234315次下載  |  免費(fèi)
  3. 2555集成電路應(yīng)用800例(新編版)
  4. 0.00 MB  |  33566次下載  |  免費(fèi)
  5. 3接口電路圖大全
  6. 未知  |  30323次下載  |  免費(fèi)
  7. 4開關(guān)電源設(shè)計實例指南
  8. 未知  |  21549次下載  |  免費(fèi)
  9. 5電氣工程師手冊免費(fèi)下載(新編第二版pdf電子書)
  10. 0.00 MB  |  15349次下載  |  免費(fèi)
  11. 6數(shù)字電路基礎(chǔ)pdf(下載)
  12. 未知  |  13750次下載  |  免費(fèi)
  13. 7電子制作實例集錦 下載
  14. 未知  |  8113次下載  |  免費(fèi)
  15. 8《LED驅(qū)動電路設(shè)計》 溫德爾著
  16. 0.00 MB  |  6656次下載  |  免費(fèi)

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935054次下載  |  免費(fèi)
  3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
  4. 78.1 MB  |  537798次下載  |  免費(fèi)
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420027次下載  |  免費(fèi)
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234315次下載  |  免費(fèi)
  9. 5Altium DXP2002下載入口
  10. 未知  |  233046次下載  |  免費(fèi)
  11. 6電路仿真軟件multisim 10.0免費(fèi)下載
  12. 340992  |  191187次下載  |  免費(fèi)
  13. 7十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
  14. 158M  |  183279次下載  |  免費(fèi)
  15. 8proe5.0野火版下載(中文版免費(fèi)下載)
  16. 未知  |  138040次下載  |  免費(fèi)
主站蜘蛛池模板: 能看毛片的网址 | 一丝不遮视频免费观看 | 日日夜夜天天人人 | 久久精品视频免费观看 | 日本黄色免费片 | 国产色妞妞在线观看 | 成年视频xxxxx免费播放软件 | 亚洲韩国在线一卡二卡 | 久久久久久综合 | 真人实干一级毛片aa免费 | 97综合久久 | 久久天天干 | 手机看片www xiao2b cm | 成人最新午夜免费视频 | 一级黄色片欧美 | 好硬好湿好爽再深一点h视频 | 中文字幕一区二区三区视频在线 | 久久久久国产精品免费免费 | 最新在线视频 | 老子影院午夜精品欧美视频 | 美女视频一区二区 | 四虎院影永久在线观看 | 国产精品天天看大片特色视频 | 国产无圣光高清一区二区 | 欧美高清成人videosex | 男人的天堂在线视频 | 伊人成人在线观看 | 综合欧美一区二区三区 | 好大好硬好深好爽想要免费视频 | 午夜黄色大片 | 天堂中文在线最新版地址 | 99精品国产第一福利网站 | 永久视频在线观看 | 四虎影城| 天天躁日日躁狠狠躁中文字幕老牛 | 热99热| 免费一级大毛片a一观看不卡 | 男人的天堂在线精品视频 | 国内精品伊人久久大香线焦 | 国产激情电影综合在线看 | 一级女性黄 色生活片 |