在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

電子發(fā)燒友App

硬聲App

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示
創(chuàng)作
電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程6.5之自定義圖層

PyTorch教程6.5之自定義圖層

2023-06-05 | pdf | 0.12 MB | 次下載 | 免費

資料介紹

深度學習成功背后的一個因素是廣泛的層的可用性,這些層可以以創(chuàng)造性的方式組合以設(shè)計適合各種任務(wù)的架構(gòu)。例如,研究人員發(fā)明了專門用于處理圖像、文本、循環(huán)順序數(shù)據(jù)和執(zhí)行動態(tài)規(guī)劃的層。遲早,您會遇到或發(fā)明深度學習框架中尚不存在的層。在這些情況下,您必須構(gòu)建自定義層。在本節(jié)中,我們將向您展示如何操作。

import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l
from mxnet import np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()
import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l
No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)
import tensorflow as tf
from d2l import tensorflow as d2l

6.5.1. 沒有參數(shù)的圖層

首先,我們構(gòu)建一個自定義層,它自己沒有任何參數(shù)。如果您還記得我們在第 6.1 節(jié)中對模塊的介紹,這應(yīng)該看起來很熟悉。以下 CenteredLayer類只是從其輸入中減去平均值。要構(gòu)建它,我們只需要繼承基礎(chǔ)層類并實現(xiàn)前向傳播功能。

class CenteredLayer(nn.Module):
  def __init__(self):
    super().__init__()

  def forward(self, X):
    return X - X.mean()
class CenteredLayer(nn.Block):
  def __init__(self, **kwargs):
    super().__init__(**kwargs)

  def forward(self, X):
    return X - X.mean()
class CenteredLayer(nn.Module):
  def __call__(self, X):
    return X - X.mean()
class CenteredLayer(tf.keras.Model):
  def __init__(self):
    super().__init__()

  def call(self, X):
    return X - tf.reduce_mean(X)

讓我們通過提供一些數(shù)據(jù)來驗證我們的層是否按預(yù)期工作。

layer = CenteredLayer()
layer(torch.tensor([1.0, 2, 3, 4, 5]))
tensor([-2., -1., 0., 1., 2.])
layer = CenteredLayer()
layer(np.array([1.0, 2, 3, 4, 5]))
array([-2., -1., 0., 1., 2.])
layer = CenteredLayer()
layer(jnp.array([1.0, 2, 3, 4, 5]))
Array([-2., -1., 0., 1., 2.], dtype=float32)
layer = CenteredLayer()
layer(tf.constant([1.0, 2, 3, 4, 5]))
<tf.Tensor: shape=(5,), dtype=float32, numpy=array([-2., -1., 0., 1., 2.], dtype=float32)>

我們現(xiàn)在可以將我們的層合并為構(gòu)建更復雜模型的組件。

net = nn.Sequential(nn.LazyLinear(128), CenteredLayer())
net = nn.Sequential()
net.add(nn.Dense(128), CenteredLayer())
net.initialize()
net = nn.Sequential([nn.Dense(128), CenteredLayer()])
net = tf.keras.Sequential([tf.keras.layers.Dense(128), CenteredLayer()])

作為額外的健全性檢查,我們可以通過網(wǎng)絡(luò)發(fā)送隨機數(shù)據(jù)并檢查均值實際上是否為 0。因為我們處理的是浮點數(shù),由于量化,我們可能仍然會看到非常小的非零數(shù)。

Y = net(torch.rand(4, 8))
Y.mean()
tensor(0., grad_fn=<MeanBackward0>)
Y = net(np.random.rand(4, 8))
Y.mean()
array(3.783498e-10)

Here we utilize the init_with_output method which returns both the output of the network as well as the parameters. In this case we only focus on the output.

Y, _ = net.init_with_output(d2l.get_key(), jax.random.uniform(d2l.get_key(),
                               (4, 8)))
Y.mean()
Array(5.5879354e-09, dtype=float32)
Y = net(tf.random.uniform((4, 8)))
tf.reduce_mean(Y)
<tf.Tensor: shape=(), dtype=float32, numpy=1.8626451e-09>

6.5.2. 帶參數(shù)的圖層

現(xiàn)在我們知道如何定義簡單的層,讓我們繼續(xù)定義具有可通過訓練調(diào)整的參數(shù)的層。我們可以使用內(nèi)置函數(shù)來創(chuàng)建參數(shù),這些參數(shù)提供了一些基本的內(nèi)務(wù)處理功能。特別是,它們管理訪問、初始化、共享、保存和加載模型參數(shù)。這樣,除了其他好處之外,我們將不需要為每個自定義層編寫自定義序列化例程。

現(xiàn)在讓我們實現(xiàn)我們自己的全連接層版本。回想一下,該層需要兩個參數(shù),一個代表權(quán)重,另一個代表偏差。在此實現(xiàn)中,我們將 ReLU 激活作為默認值進行烘焙。該層需要兩個輸入?yún)?shù): in_unitsunits,分別表示輸入和輸出的數(shù)量。

class MyLinear(nn.Module):
  def __init__(self, in_units, units):
    super().__init__()
    self.weight = nn.Parameter(torch.randn(in_units, units))
    self.bias = nn.Parameter(torch.randn(units,))

  def forward(self, X):
    linear = torch.matmul(X, self.weight.data) + self.bias.data
    return F.relu(linear)

接下來,我們實例化該類MyLinear并訪問其模型參數(shù)。

linear = MyLinear(5, 3)
linear.weight
Parameter containing:
tensor([[-1.2894e+00, 6.5869e-01, -1.3933e+00],
    [ 7.2590e-01, 7.1593e-01, 1.8115e-03],
    [-1.5900e+00, 4.1654e-01, -1.3358e+00],
    [ 2.2732e-02, -2.1329e+00, 1.8811e+00],
    [-1.0993e+00, 2.9763e-01, -1.4413e+00]], requires_grad=True)
class MyDense(nn.Block):
  def __init__(self, units, in_units, **kwargs):
    super().__init__(**kwargs)
    self.weight = self.params.get('weight', shape=(in_units, units))
    self.bias = self.params.get('bias', shape=(units,))

  def forward(self, x):
    linear = np.

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊
  2. 1.06 MB  |  532次下載  |  免費
  3. 2RK3399完整板原理圖(支持平板,盒子VR)
  4. 3.28 MB  |  339次下載  |  免費
  5. 3TC358743XBG評估板參考手冊
  6. 1.36 MB  |  330次下載  |  免費
  7. 4DFM軟件使用教程
  8. 0.84 MB  |  295次下載  |  免費
  9. 5元宇宙深度解析—未來的未來-風口還是泡沫
  10. 6.40 MB  |  227次下載  |  免費
  11. 6迪文DGUS開發(fā)指南
  12. 31.67 MB  |  194次下載  |  免費
  13. 7元宇宙底層硬件系列報告
  14. 13.42 MB  |  182次下載  |  免費
  15. 8FP5207XR-G1中文應(yīng)用手冊
  16. 1.09 MB  |  178次下載  |  免費

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234315次下載  |  免費
  3. 2555集成電路應(yīng)用800例(新編版)
  4. 0.00 MB  |  33566次下載  |  免費
  5. 3接口電路圖大全
  6. 未知  |  30323次下載  |  免費
  7. 4開關(guān)電源設(shè)計實例指南
  8. 未知  |  21549次下載  |  免費
  9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
  10. 0.00 MB  |  15349次下載  |  免費
  11. 6數(shù)字電路基礎(chǔ)pdf(下載)
  12. 未知  |  13750次下載  |  免費
  13. 7電子制作實例集錦 下載
  14. 未知  |  8113次下載  |  免費
  15. 8《LED驅(qū)動電路設(shè)計》 溫德爾著
  16. 0.00 MB  |  6656次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935054次下載  |  免費
  3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
  4. 78.1 MB  |  537798次下載  |  免費
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420027次下載  |  免費
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234315次下載  |  免費
  9. 5Altium DXP2002下載入口
  10. 未知  |  233046次下載  |  免費
  11. 6電路仿真軟件multisim 10.0免費下載
  12. 340992  |  191187次下載  |  免費
  13. 7十天學會AVR單片機與C語言視頻教程 下載
  14. 158M  |  183279次下載  |  免費
  15. 8proe5.0野火版下載(中文版免費下載)
  16. 未知  |  138040次下載  |  免費
主站蜘蛛池模板: 黄视频网站观看 | 国产亚洲情侣久久精品 | 一级黄色毛毛片 | 五月激情婷婷综合 | 久久精品国产清自在天天线 | 婷婷丁香色综合狠狠色 | 成人黄色免费看 | 成年片色大黄全免费网址 | 老司机51精品视频在线观看 | 黄黄的网站 | 爱情岛网站亚洲禁18进入 | 狠狠躁夜夜躁人人躁婷婷视频 | 亚州色吧 | 男子扒开美女尿口做羞羞的事 | 天天摸夜夜添狠狠添2018 | 成人看片在线观看 | 欧美另类丰满69xxxxx | 亚洲国产一区二区三区在线观看 | 777人体粉嫩u美图 | 日本免费人成黄页网观看视频 | 五月天天 | 亚洲国产精品综合久久2007 | 中国胖女人一级毛片aaaaa | 老师今晚让你爽个够 | 久久亚洲视频 | 99婷婷| 轻点灬大ji巴太大太深了 | 狠狠色婷婷狠狠狠亚洲综合 | se94se亚洲欧美在线 | 一级特黄女毛毛片 | 午夜啪视频 | 国产黄色精品 | 免费性视频 | 日韩毛片在线视频 | 亚洲欧洲色天使日韩精品 | 国产一级αv片免费观看 | 国产精品任我爽爆在线播放6080 | 美国一级毛片不卡无毒 | 成人伊人青草久久综合网 | 午夜dy888理论在线播放 | 全日本爽视频在线 |