淺析三種主流深度神經(jīng)網(wǎng)絡(luò)
來(lái)源：青榴實(shí)驗(yàn)室
1、引子
深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類(lèi)或語(yǔ)音識(shí)別等復(fù)雜機(jī)器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。
在本文中，我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)和三個(gè)最流行神經(jīng)網(wǎng)絡(luò)：多層神經(jīng)網(wǎng)絡(luò)(MLP)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。
2、什么是深度神經(jīng)網(wǎng)絡(luò)
機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科，專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。如果論及哪一個(gè)機(jī)器學(xué)習(xí)的領(lǐng)域最為熱門(mén)，非人工智能莫屬，這就是深度學(xué)習(xí)。深度學(xué)習(xí)框架又名深度神經(jīng)網(wǎng)絡(luò)，一個(gè)復(fù)雜的模式識(shí)別系統(tǒng)，在過(guò)去的幾十年里，機(jī)器學(xué)習(xí)給我們的日常生活帶來(lái)了巨大的影響，包括高效的網(wǎng)絡(luò)搜索、自動(dòng)駕駛系統(tǒng)、計(jì)算機(jī)視覺(jué)和光學(xué)字符識(shí)別。
深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為機(jī)器學(xué)習(xí)和人工智能的有力工具。深度神經(jīng)網(wǎng)絡(luò)(DNN)的輸入層和輸出層之間有多層的人工神經(jīng)網(wǎng)絡(luò)(ANN)。深層神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展應(yīng)用致使語(yǔ)音識(shí)別錯(cuò)誤率上較傳統(tǒng)語(yǔ)音識(shí)別方法錯(cuò)誤率減少30%(20年來(lái)最大降幅),同時(shí)也大幅削減了圖像識(shí)別的錯(cuò)誤率，自2011年以來(lái)深度學(xué)習(xí)圖像識(shí)別的錯(cuò)誤率從26%到3.5%,而人類(lèi)是5%。
3、深度神經(jīng)網(wǎng)絡(luò)的基本原理
深度神經(jīng)網(wǎng)絡(luò)模型最初是基于神經(jīng)生物學(xué)的啟發(fā)。生物神經(jīng)元通過(guò)與樹(shù)突的突觸接觸接收多個(gè)信號(hào)，并通過(guò)軸突發(fā)送單一的動(dòng)作電位流。通過(guò)對(duì)輸入模式進(jìn)行分類(lèi)，可以降低多個(gè)輸入的復(fù)雜性。受這種輸入輸出方式的啟發(fā)，人工神經(jīng)網(wǎng)絡(luò)模型由組合多個(gè)輸入和單一的輸出單元組成。神經(jīng)網(wǎng)絡(luò)以模擬人類(lèi)大腦的功能為目標(biāo)，并基于一個(gè)簡(jiǎn)單的人工神經(jīng)元:輸入信號(hào)的加權(quán)和的非線性函數(shù)(如max(0, value))。這些偽神經(jīng)元被聚合成層，一層的輸出成為序列中下一層的輸入。4、深度神經(jīng)網(wǎng)絡(luò)的“深”
深度神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中采用了深度結(jié)構(gòu)?！吧睢笔侵冈趯哟螖?shù)和單層單元數(shù)的深兼具較高復(fù)雜性的功能。云計(jì)算中的大型數(shù)據(jù)集可以通過(guò)使用額外的和更大的層來(lái)捕獲更高級(jí)數(shù)據(jù)模式來(lái)構(gòu)建更精確的模型。神經(jīng)網(wǎng)絡(luò)的兩個(gè)階段被稱(chēng)為訓(xùn)練(或?qū)W習(xí))和推斷(或預(yù)測(cè))，它們指的是發(fā)展和生產(chǎn)。開(kāi)發(fā)人員選擇神經(jīng)網(wǎng)絡(luò)的層數(shù)和類(lèi)型，訓(xùn)練確定權(quán)值。
5、目前流行的深度神經(jīng)網(wǎng)絡(luò)有三種
5.1 多層感知器(MLP)
多層感知器(MLP)是一類(lèi)前饋人工神經(jīng)網(wǎng)絡(luò)(ANN)。MLPs模型是最基本的深度神經(jīng)網(wǎng)絡(luò)，其將輸入的多個(gè)數(shù)據(jù)集映射到單一的輸出的數(shù)據(jù)集上，由一系列全連接層組成。每一層都是一組非線性函數(shù)，它們是前一層所有輸出(完全連通)的加權(quán)和。功能函數(shù)：
卷積神經(jīng)網(wǎng)絡(luò)(CNN，或ConvNet)是另一類(lèi)深度神經(jīng)網(wǎng)絡(luò)。CNN最常用于計(jì)算機(jī)視覺(jué)。給定一系列來(lái)自現(xiàn)實(shí)世界的圖像或視頻，AI系統(tǒng)利用CNN學(xué)習(xí)自動(dòng)提取這些輸入的特征來(lái)完成特定的任務(wù)，如圖像分類(lèi)、人臉認(rèn)證、圖像語(yǔ)義分割等。
與MLP中的完全連接層不同，在CNN模型中，一個(gè)或多個(gè)卷積層通過(guò)執(zhí)行卷積操作從輸入中提取簡(jiǎn)單特征。每一層都是一組非線性函數(shù)，這些函數(shù)的加權(quán)和位于前一層輸出的空間附近子集的不同坐標(biāo)上，允許權(quán)重被重用。
VGG-16。為了達(dá)到更高的精度，vg -16被訓(xùn)練為一個(gè)更深層次的16層結(jié)構(gòu)，由13個(gè)卷積層和3個(gè)全連通層組成，需要1.38億權(quán)值和15.5G mac對(duì)大小為224×224的圖像進(jìn)行分類(lèi)。
GoogleNet。為了提高準(zhǔn)確性，同時(shí)減少DNN推理的計(jì)算，GoogleNet引入了一個(gè)由不同大小的過(guò)濾器組成的初始模塊。google et比vg -16具有更好的精度性能，而處理相同大小的圖像只需要700萬(wàn)權(quán)重和1.43G mac。
ResNet。最新的研究成果ResNet使用了“快捷”結(jié)構(gòu)，達(dá)到了人類(lèi)平均水平的準(zhǔn)確率，前5名的錯(cuò)誤率低于5%。“捷徑”模塊用于解決訓(xùn)練過(guò)程中的梯度消失問(wèn)題，使訓(xùn)練具有更深結(jié)構(gòu)的DNN模型成為可能。
近年來(lái)CNN的準(zhǔn)確率和性能逐漸提高，應(yīng)用于人們?nèi)斯ぶ悄芤曈X(jué)任務(wù)的，超過(guò)了人類(lèi)視覺(jué)的平均水平錯(cuò)誤率低于5%。
5.3遞歸神經(jīng)網(wǎng)絡(luò)（RNN）遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是另一類(lèi)使用順序數(shù)據(jù)輸入的人工神經(jīng)網(wǎng)絡(luò)。RNN是用來(lái)解決序列輸入數(shù)據(jù)的時(shí)間序列問(wèn)題的。RNN的輸入由當(dāng)前輸入和之前的樣本組成。因此，節(jié)點(diǎn)之間的連接沿時(shí)間序列形成有向圖。RNN中的每個(gè)神經(jīng)元都有一個(gè)內(nèi)部存儲(chǔ)器，它保存著來(lái)自前一個(gè)樣本的計(jì)算信息。
RNN模型在處理輸入長(zhǎng)度不固定的數(shù)據(jù)方面具有優(yōu)勢(shì)，因此在自然語(yǔ)言處理中得到了廣泛的應(yīng)用。人工智能的任務(wù)是建立一個(gè)能夠理解人類(lèi)說(shuō)的自然語(yǔ)言的系統(tǒng)，例如自然語(yǔ)言建模、單詞嵌入和機(jī)器翻譯。在RNN中，每一層都是輸出和前一層狀態(tài)的加權(quán)和的非線性函數(shù)集合。RNN的基本單元稱(chēng)為“Cell”，每個(gè)Cell層由一系列的Cell組成，層層傳遞處理使RNN模型能夠進(jìn)行順序處理。
6、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用
深度學(xué)習(xí)現(xiàn)在已經(jīng)應(yīng)用到生活各領(lǐng)域：
1.深度學(xué)習(xí)應(yīng)用在音視頻的識(shí)別上，幾乎所有的商用語(yǔ)音識(shí)別都是深度學(xué)習(xí)來(lái)完成的，如自然語(yǔ)言理解方面，主要是使用一種叫做LSTM的深度學(xué)習(xí)方法。
2.深度學(xué)習(xí)應(yīng)用于圖像識(shí)別，目前識(shí)別準(zhǔn)確率已經(jīng)超越人類(lèi)，深度學(xué)習(xí)成了圖像識(shí)別的標(biāo)配。其中圖像識(shí)別中，應(yīng)用最廣的是人臉識(shí)別。
總之深度神經(jīng)網(wǎng)絡(luò)已經(jīng)深入便捷了人們生活，各類(lèi)自動(dòng)駕駛車(chē)輛，各種類(lèi)型的人工智能機(jī)器人，智能回答，智能翻譯，天氣預(yù)報(bào)，股票預(yù)測(cè)，人臉比對(duì)，聲紋比對(duì)，等其他許多有趣的應(yīng)用，比如智能插畫(huà)，自動(dòng)作詩(shī)，自動(dòng)寫(xiě)作文，等都可以通過(guò)深度學(xué)習(xí)來(lái)完成深度神經(jīng)網(wǎng)絡(luò)。END
歡迎加入Imagination GPU與人工智能交流2群
（添加請(qǐng)備注公司名和職稱(chēng)）
推薦閱讀 對(duì)話(huà)Imagination中國(guó)區(qū)董事長(zhǎng)：以GPU為支點(diǎn)加強(qiáng)軟硬件協(xié)同，助力數(shù)字化轉(zhuǎn)型Imagination攜手飛槳等多家伙伴聯(lián)合發(fā)布 AI Studio硬件生態(tài)專(zhuān)區(qū)
Imagination Technologies是一家總部位于英國(guó)的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話(huà)、汽車(chē)、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車(chē)電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！
原文標(biāo)題：淺析三種主流深度神經(jīng)網(wǎng)絡(luò)
文章出處：【微信公眾號(hào)：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
-
imagination
+關(guān)注
關(guān)注
1文章
598瀏覽量
62041
發(fā)布評(píng)論請(qǐng)先 登錄
工商網(wǎng)監(jiān)
評(píng)論