面向TTA架構(gòu)ASIP設(shè)計的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化論文免費(fèi)下載
資料介紹
近年來,依托電子芯片技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)被設(shè)計得更深更大,以應(yīng)對更加復(fù)雜和抽象的場景。隨之而來的問題是深府神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和推理都依托大規(guī)模的浮點(diǎn)運(yùn)算實(shí)現(xiàn),對存儲資源的占用和設(shè)備功耗的需求產(chǎn)生了很高的需求。基于傳輸觸發(fā)架構(gòu)(TransportTriggered Architecture,TTA)的專用指令集處理器(ApplicationSpecific Instruction Set Processor,ASIP)既能夠提供專用集成電路級別的高性能和低功耗,又能夠提供處理器級別的指令集靈活性,是解決該問題的途徑之一。
量化與加速是深度神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)時常用的兩項技術(shù),卷積神經(jīng)網(wǎng)絡(luò)是最有代表性和最通用的深度神經(jīng)網(wǎng)絡(luò)。本文的主要工作即圍繞這兩項技術(shù),進(jìn)行面向TTA架構(gòu)ASIP設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化,具體內(nèi)容包含以下兩個部分:
其一,本文針對基于TTA架構(gòu)的神經(jīng)網(wǎng)絡(luò)ASIP的需求,提出了一套端到端完整的8比特量化方案。該方案結(jié)合權(quán)重、激活值和梯度的各自特點(diǎn),為它們制定了相應(yīng)的量化策略,包括了對稱仿射的權(quán)重量化、帶動態(tài)上限的激活值量化、變精度的梯度量化以及一種近似的批量歸一化算法。在多數(shù)據(jù)集、多模型結(jié)構(gòu)的實(shí)驗中,該方案都取得了與全精度網(wǎng)絡(luò)相當(dāng)?shù)木龋I(lǐng)先于部分當(dāng)下常用的量化方案。
其二,本文將查找表資源融入到卷積運(yùn)算中,提出了一種基于乘法結(jié)合律的卷積運(yùn)算的加速方案。該方案針對面向TTA架構(gòu)的量化卷積功能單元,提供了符合量化卷積特性的卷積核分塊、循環(huán)展開、數(shù)據(jù)交換規(guī)則,并展示了基于TTA架構(gòu)的神經(jīng)網(wǎng)絡(luò)加速器的整體結(jié)構(gòu)。對比傳統(tǒng)卷積方案,該方案緩解了有限的乘法器資源對于神經(jīng)網(wǎng)絡(luò)并行計算的限制,在并行度與計算能效比兩方面都有所提升。
本文中,量化方案是加速方案的基礎(chǔ),加速方案是量化方案的補(bǔ)充,二者共同構(gòu)成了本文的優(yōu)化工作,為基于TTA架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)的ASIP實(shí)現(xiàn)提供了支持。
- 基于BP神經(jīng)網(wǎng)絡(luò)優(yōu)化的光伏發(fā)電預(yù)測模型 35次下載
- 基于神經(jīng)網(wǎng)絡(luò)的優(yōu)化計算實(shí)驗 43次下載
- BP神經(jīng)網(wǎng)絡(luò)基本原理簡介 18次下載
- 3小時學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)課件下載 0次下載
- 深度神經(jīng)網(wǎng)絡(luò)模型的壓縮和優(yōu)化綜述 20次下載
- 綜述深度神經(jīng)網(wǎng)絡(luò)的解釋方法及發(fā)展趨勢 19次下載
- 一種基于多視圖架構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)模型 5次下載
- 神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)課件免費(fèi)下載 17次下載
- 基于深度神經(jīng)網(wǎng)絡(luò)的文本分類分析 37次下載
- 神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載 7次下載
- 神經(jīng)網(wǎng)絡(luò)的基本概念學(xué)習(xí)課件免費(fèi)下載 5次下載
- 神經(jīng)網(wǎng)絡(luò)的復(fù)習(xí)資料免費(fèi)下載 1次下載
- BP神經(jīng)網(wǎng)絡(luò)的簡單MATLAB實(shí)例免費(fèi)下載 5次下載
- 快速了解神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的教程資料免費(fèi)下載 33次下載
- 《神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)》中文版電子教材免費(fèi)下載 0次下載
- 殘差網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)嗎 1151次閱讀
- 神經(jīng)網(wǎng)絡(luò)優(yōu)化器有哪些 657次閱讀
- 什么是神經(jīng)網(wǎng)絡(luò)加速器?它有哪些特點(diǎn)? 545次閱讀
- 簡單認(rèn)識深度神經(jīng)網(wǎng)絡(luò) 1118次閱讀
- 深度神經(jīng)網(wǎng)絡(luò)(DNN)架構(gòu)解析與優(yōu)化策略 2076次閱讀
- 深度神經(jīng)網(wǎng)絡(luò)概述及其應(yīng)用 1457次閱讀
- 深度神經(jīng)網(wǎng)絡(luò)與基本神經(jīng)網(wǎng)絡(luò)的區(qū)別 1006次閱讀
- 深度神經(jīng)網(wǎng)絡(luò)的設(shè)計方法 519次閱讀
- 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法有哪些 607次閱讀
- 神經(jīng)網(wǎng)絡(luò)架構(gòu)有哪些 814次閱讀
- 如何訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò) 509次閱讀
- 詳解深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 2241次閱讀
- 深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)機(jī)理與決策邏輯難以理解 2994次閱讀
- 斯坦福探索深度神經(jīng)網(wǎng)絡(luò)可解釋性 決策樹是關(guān)鍵 4401次閱讀
- NVIDIA深度神經(jīng)網(wǎng)絡(luò)加速庫cuDNN軟件安裝教程 2288次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1491次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 95次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 11次下載 | 免費(fèi)
- 6100W短波放大電路圖
- 0.05 MB | 4次下載 | 3 積分
- 7基于單片機(jī)和 SG3525的程控開關(guān)電源設(shè)計
- 0.23 MB | 4次下載 | 免費(fèi)
- 8基于AT89C2051/4051單片機(jī)編程器的實(shí)驗
- 0.11 MB | 4次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開關(guān)電源設(shè)計實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537793次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評論