91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

神經(jīng)網(wǎng)絡(luò)初學(xué)者的激活函數(shù)指南

穎脈Imgtec ? 2023-04-21 09:28 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:Mouaad B.

來源:DeepHub IMBA


如果你剛剛開始學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),激活函數(shù)的原理一開始可能很難理解。但是如果你想開發(fā)強大的神經(jīng)網(wǎng)絡(luò),理解它們是很重要的。

f6fc88d0-dd8b-11ed-ad0d-dac502259ad0.png

但在我們深入研究激活函數(shù)之前,先快速回顧一下神經(jīng)網(wǎng)絡(luò)架構(gòu)的基本元素。如果你已經(jīng)熟悉神經(jīng)網(wǎng)絡(luò)的工作原理,可以直接跳到下一節(jié)。


神經(jīng)網(wǎng)絡(luò)架構(gòu)

神經(jīng)網(wǎng)絡(luò)由稱為神經(jīng)元的鏈接節(jié)點層組成,神經(jīng)元通過稱為突觸的加權(quán)連接來處理和傳輸信息。

f7128234-dd8b-11ed-ad0d-dac502259ad0.png

每個神經(jīng)元從上一層的神經(jīng)元獲取輸入,對其輸入的和應(yīng)用激活函數(shù),然后將輸出傳遞給下一層。

神經(jīng)網(wǎng)絡(luò)的神經(jīng)元包含輸入層、隱藏層和輸出層。

輸入層只接收來自域的原始數(shù)據(jù)。這里沒有計算,節(jié)點只是簡單地將信息(也稱為特征)傳遞給下一層,即隱藏層。隱藏層是所有計算發(fā)生的地方。它從輸入層獲取特征,并在將結(jié)果傳遞給輸出層之前對它們進行各種計算。輸出層是網(wǎng)絡(luò)的最后一層。它使用從隱藏層獲得的所有信息并產(chǎn)生最終值。

為什么需要激活函數(shù)。為什么神經(jīng)元不能直接計算并將結(jié)果轉(zhuǎn)移到下一個神經(jīng)元?激活函數(shù)的意義是什么?


激活函數(shù)在神經(jīng)網(wǎng)絡(luò)中的作用

網(wǎng)絡(luò)中的每個神經(jīng)元接收來自其他神經(jīng)元的輸入,然后它對輸入進行一些數(shù)學(xué)運算以生成輸出。一個神經(jīng)元的輸出可以被用作網(wǎng)絡(luò)中其他神經(jīng)元的輸入。

f746d052-dd8b-11ed-ad0d-dac502259ad0.png

如果沒有激活函數(shù),神經(jīng)元將只是對輸入進行線性數(shù)學(xué)運算。這意味著無論我們在網(wǎng)絡(luò)中添加多少層神經(jīng)元,它所能學(xué)習(xí)的東西仍然是有限的,因為輸出總是輸入的簡單線性組合。

激活函數(shù)通過在網(wǎng)絡(luò)中引入非線性來解決問題。通過添加非線性,網(wǎng)絡(luò)可以模擬輸入和輸出之間更復(fù)雜的關(guān)系,從而發(fā)現(xiàn)更多有價值的模式。

簡而言之,激活函數(shù)通過引入非線性并允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的模式,使神經(jīng)網(wǎng)絡(luò)更加強大。


理解不同類型的激活函數(shù)

我們可以將這些函數(shù)分為三部分:二元、線性和非線性。

f75d787a-dd8b-11ed-ad0d-dac502259ad0.png

二元函數(shù)只能輸出兩個可能值中的一個,而線性函數(shù)則返回基于線性方程的值。

非線性函數(shù),如sigmoid函數(shù),Tanh, ReLU和elu,提供的結(jié)果與輸入不成比例。每種類型的激活函數(shù)都有其獨特的特征,可以在不同的場景中使用。


1、Sigmoid / Logistic激活函數(shù)

Sigmoid激活函數(shù)接受任何數(shù)字作為輸入,并給出0到1之間的輸出。輸入越正,輸出越接近1。另一方面,輸入越負,輸出就越接近0,如下圖所示。

f7774f48-dd8b-11ed-ad0d-dac502259ad0.png

它具有s形曲線,使其成為二元分類問題的理想選擇。如果要創(chuàng)建一個模型來預(yù)測一封電子郵件是否為垃圾郵件,我們可以使用Sigmoid函數(shù)來提供一個0到1之間的概率分數(shù)。如果得分超過0.5分,則認為該郵件是垃圾郵件。如果它小于0.5,那么我們可以說它不是垃圾郵件。

函數(shù)定義如下:

f7a416a4-dd8b-11ed-ad0d-dac502259ad0.png

但是Sigmoid函數(shù)有一個缺點——它受到梯度消失問題的困擾。當輸入變得越來越大或越來越小時,函數(shù)的梯度變得非常小,減慢了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程,可以看上面圖中的導(dǎo)數(shù)(Derivative)曲線。

但是Sigmoid函數(shù)仍然在某些類型的神經(jīng)網(wǎng)絡(luò)中使用,例如用于二進制分類問題的神經(jīng)網(wǎng)絡(luò),或者用于多類分類問題的輸出層,因為預(yù)測每個類的概率Sigmoid還是最好的解決辦法。


2、Tanh函數(shù)(雙曲正切)

Tanh函數(shù),也被稱為雙曲正切函數(shù),是神經(jīng)網(wǎng)絡(luò)中使用的另一種激活函數(shù)。它接受任何實數(shù)作為輸入,并輸出一個介于-1到1之間的值。

f7bd2608-dd8b-11ed-ad0d-dac502259ad0.png

Tanh函數(shù)和Sigmoid函數(shù)很相似,但它更以0為中心。當輸入接近于零時,輸出也將接近于零。這在處理同時具有負值和正值的數(shù)據(jù)時非常有用,因為它可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)。

函數(shù)定義如下:

f7e4c456-dd8b-11ed-ad0d-dac502259ad0.png

與Sigmoid函數(shù)一樣,Tanh函數(shù)也會在輸入變得非常大或非常小時遭遇梯度消失的問題。


3、線性整流單元/ ReLU函數(shù)

ReLU是一種常見的激活函數(shù),它既簡單又強大。它接受任何輸入值,如果為正則返回,如果為負則返回0。換句話說,ReLU將所有負值設(shè)置為0,并保留所有正值。

f7f3a444-dd8b-11ed-ad0d-dac502259ad0.png

函數(shù)定義如下:

f812cfae-dd8b-11ed-ad0d-dac502259ad0.png

使用ReLU的好處之一是計算效率高,并且實現(xiàn)簡單。它可以幫助緩解深度神經(jīng)網(wǎng)絡(luò)中可能出現(xiàn)的梯度消失問題。

但是,ReLU可能會遇到一個被稱為“dying ReLU”問題。當神經(jīng)元的輸入為負,導(dǎo)致神經(jīng)元的輸出為0時,就會發(fā)生這種情況。如果這種情況發(fā)生得太頻繁,神經(jīng)元就會“死亡”并停止學(xué)習(xí)。


4、Leaky ReLU

Leaky ReLU函數(shù)是ReLU函數(shù)的一個擴展,它試圖解決“dying ReLU”問題。Leaky ReLU不是將所有的負值都設(shè)置為0,而是將它們設(shè)置為一個小的正值,比如輸入值的0.1倍。他保證即使神經(jīng)元接收到負信息,它仍然可以從中學(xué)習(xí)。

f825f3f4-dd8b-11ed-ad0d-dac502259ad0.png

函數(shù)定義如下:

f852474c-dd8b-11ed-ad0d-dac502259ad0.png

Leaky ReLU已被證明在許多不同類型的問題中工作良好。


5、指數(shù)線性單位(elu)函數(shù)

ReLU一樣,他們的目標是解決梯度消失的問題。elu引入了負輸入的非零斜率,這有助于防止“dying ReLU”問題

f86315ae-dd8b-11ed-ad0d-dac502259ad0.png

公式為:

f88ba528-dd8b-11ed-ad0d-dac502259ad0.png

這里的alpha是控制負飽和度的超參數(shù)。

與ReLU和tanh等其他激活函數(shù)相比,elu已被證明可以提高訓(xùn)練和測試的準確性。它在需要高準確度的深度神經(jīng)網(wǎng)絡(luò)中特別有用。


6、Softmax函數(shù)

在需要對輸入進行多類別分類的神經(jīng)網(wǎng)絡(luò)中,softmax函數(shù)通常用作輸出層的激活函數(shù)。它以一個實數(shù)向量作為輸入,并返回一個表示每個類別可能性的概率分布。

softmax的公式是:

f8a18672-dd8b-11ed-ad0d-dac502259ad0.png

這里的x是輸入向量,i和j是從1到類別數(shù)的索引

Softmax對于多類分類問題非常有用,因為它確保輸出概率之和為1,從而便于解釋結(jié)果。它也是可微的,這使得它可以在訓(xùn)練過程中用于反向傳播。


7、Swish

Swish函數(shù)是一個相對較新的激活函數(shù),由于其優(yōu)于ReLU等其他激活函數(shù)的性能,在深度學(xué)習(xí)社區(qū)中受到了關(guān)注。

Swish的公式是:

f8b5fc6a-dd8b-11ed-ad0d-dac502259ad0.png

這里的beta是控制飽和度的超參數(shù)。

Swish類似于ReLU,因為它是一個可以有效計算的簡單函數(shù)。并且有一個平滑的曲線,有助于預(yù)防“dying ReLU”問題。Swish已被證明在各種深度學(xué)習(xí)任務(wù)上優(yōu)于ReLU。


選擇哪一種?

首先,需要將激活函數(shù)與你要解決的預(yù)測問題類型相匹配??梢詮腞eLU激活函數(shù)開始,如果沒有達到預(yù)期的結(jié)果,則可以轉(zhuǎn)向其他激活函數(shù)。

以下是一些需要原則:

  • ReLU激活函數(shù)只能在隱藏層中使用。
  • Sigmoid/Logistic和Tanh函數(shù)不應(yīng)該用于隱藏層,因為它們會在訓(xùn)練過程中引起問題。

Swish函數(shù)用于深度大于40層的神經(jīng)網(wǎng)絡(luò)會好很多。

輸出層的激活函數(shù)是由你要解決的預(yù)測問題的類型決定的。以下是一些需要記住的基本原則:

回歸-線性激活函數(shù)

二元分類- Sigmoid

多類分類- Softmax

  • 多標簽分類- Sigmoid

選擇正確的激活函數(shù)可以使預(yù)測準確性有所不同。所以還需要根據(jù)不同的使用情況進行測試。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個方面存在顯著差異,以下是對兩者的比較: 一、結(jié)構(gòu)特點 BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:53 ?673次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)步驟詳解

    BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)步驟主要包括以下幾個階段:網(wǎng)絡(luò)初始化、前向傳播、誤差計算、反向傳播和權(quán)重更新。以下是對這些步驟的詳細解釋: 一、網(wǎng)絡(luò)初始化 確定網(wǎng)絡(luò)結(jié)構(gòu) : 根據(jù)輸入和輸出數(shù)據(jù)的特性
    的頭像 發(fā)表于 02-12 15:50 ?648次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法的介紹: 一、基本概念 反向傳播算法是BP
    的頭像 發(fā)表于 02-12 15:18 ?775次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural N
    的頭像 發(fā)表于 02-12 15:15 ?863次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的基本原理

    輸入層、隱藏層和輸出層組成。其中,輸入層負責接收外部輸入數(shù)據(jù),這些數(shù)據(jù)隨后被傳遞到隱藏層。隱藏層是BP神經(jīng)網(wǎng)絡(luò)的核心部分,它可以通過一層或多層神經(jīng)元對輸入數(shù)據(jù)進行加權(quán)求和,并通過非線性激活函數(shù)
    的頭像 發(fā)表于 02-12 15:13 ?867次閱讀

    如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型

    BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)模型,其訓(xùn)練過程主要分為兩個階段:前向傳播和反向傳播。以下是訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型的步驟: 一、前向傳播 前向傳播是信號在
    的頭像 發(fā)表于 02-12 15:10 ?927次閱讀

    深度學(xué)習(xí)入門:簡單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實現(xiàn)

    神經(jīng)網(wǎng)絡(luò)。 首先,導(dǎo)入必要的庫: 收起 python ? import numpy as np ? 定義激活函數(shù) Sigmoid: 收起 python ? def sigmoid(x): return 1
    的頭像 發(fā)表于 01-23 13:52 ?533次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

    在上一篇文章中,我們介紹了傳統(tǒng)機器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中,我們會介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)模型之所
    的頭像 發(fā)表于 01-09 10:24 ?1212次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)方法

    EE-269:以太網(wǎng)802.3初學(xué)者指南

    電子發(fā)燒友網(wǎng)站提供《EE-269:以太網(wǎng)802.3初學(xué)者指南.pdf》資料免費下載
    發(fā)表于 01-05 09:48 ?1次下載
    EE-269:以太網(wǎng)802.3<b class='flag-5'>初學(xué)者</b><b class='flag-5'>指南</b>

    一文詳解物理信息神經(jīng)網(wǎng)絡(luò)

    物理信息神經(jīng)網(wǎng)絡(luò) (PINN) 是一種神經(jīng)網(wǎng)絡(luò),它將微分方程描述的物理定律納入其損失函數(shù)中,以引導(dǎo)學(xué)習(xí)過程得出更符合基本物理定律的解。
    的頭像 發(fā)表于 12-05 16:50 ?8445次閱讀
    一文詳解物理信息<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    在深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常見的模型。 1. 結(jié)構(gòu)差異 1.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-15 14:53 ?1879次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)領(lǐng)域中的一種強大工具,它們能夠模擬人腦處理信息的方式。隨著技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的類型也在不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(如前饋
    的頭像 發(fā)表于 11-15 09:42 ?1133次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與工作機制

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),設(shè)計用于解決長期依賴問題,特別是在處理時間序列數(shù)據(jù)時表現(xiàn)出色。以下是LSTM神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-13 10:05 ?1634次閱讀

    關(guān)于卷積神經(jīng)網(wǎng)絡(luò),這些概念你厘清了么~

    神經(jīng)元都是輸入的線性變換——將輸入乘以數(shù)字(權(quán)重w)并加上一個常數(shù)(偏置b),然后通過一個固定的非線性函數(shù)產(chǎn)生輸出,該函數(shù)也被稱為激活函數(shù)
    發(fā)表于 10-24 13:56

    matlab 神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)建模數(shù)值分析

    matlab神經(jīng)網(wǎng)絡(luò) 數(shù)學(xué)建模數(shù)值分析 精通的可以討論下
    發(fā)表于 09-18 15:14
    主站蜘蛛池模板: 午夜免费网址 | 色拍拍综合网 | 男女吃奶一进一出动态图 | 婷婷激情五月 | 午夜视频在线播放 | 99久久精品99999久久 | 天天草比 | 欧美一区二区三区黄色 | 搡女人视频免费 | 五月四房婷婷 | 色婷婷综合在线视频最新 | 国产色产综合色产在线观看视频 | 国产色视频在线 | www.黄色一片| 好大好紧好爽好湿润视频 | 欧美三级在线免费观看 | 欧洲另类一二三四区 | aa视频免费看 | 黄网站色在线视频免费观看 | 日b毛片 | 五月婷婷深爱五月 | 日本欧美一区二区免费视 | 人人做人人爽人人爱 | 伊人色强在线网 | 天天操天天弄 | 免费大片黄在线观看日本 | www.三级.com| 性欧美成人依依影院 | 99 久久99久久精品免观看 | 日韩激情淫片免费看 | 亚洲综合春色另类久久 | 老司机色网 | 国产久爱青草视频在线观看 | 亚洲系列_1页_mmyy11 | 青草视频在线观看国产 | 操天天操 | 五月婷婷激情在线 | 国产精品一区二区综合 | 亚洲jjzzjjzz在线观看 | 一级待一黄aaa大片在线还看 | 黄网地址 |