在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

關于馭勢通往深度學習之路的分析和介紹

VtWH_馭勢未 ? 來源:djl ? 2019-09-19 17:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

AI天團出道已久,成員都是集顏值和才華于一身的男紙,之前我們已經見過其中三位了,壓軸出場的到底是誰?

更為重要的是,他會帶給我們關于人工智能的什么新鮮東東呢?

王宇航,博士畢業于中國科學院自動化研究所,現階段主要研究方向包括:深度學習、圖像語義分割、目標檢測、網絡模型壓縮與加速等。

宇航告訴我們,深度神經網絡也可以是一個“Transformer”,它可以在使用時根據輸入數據動態地調整自己的結構。至于為什么要設計這樣的網絡結構,宇航用“殺雞焉用牛刀”來形容它。

隨著近年來深度學習的快速發展,我們已經能夠獲得越來越精確的模型實現對圖像目標的識別,而相應地,模型的體積也在成倍地增長,這給模型的部署和應用帶來了很大的麻煩。因此,很多學者一直致力于給深度神經網絡模型“減重”,從而實現效果和速度的平衡。

其中的主要方法包括對模型和知識進行蒸餾,對模型進行剪枝,以及對模型參數進行分解和量化等等。這些方法都能夠提高模型中“有效計算”的密度,從而使模型變得更加高效。如果說這些方法是獲得了更加高效的“靜態”模型的話,另一類方法則采用“動態”的模型來提高應用端的計算效率,它們針對不同的輸入數據動態地調整網絡的前向過程,去除不必要的計算,從而達到加速的目的。

首先,我們可以分析一下深度神經網絡模型在訓練和預測過程中的不同:在訓練的過程中,我們要求模型對來自不同場景不同類別的目標都進行學習和辨別,以豐富其“知識儲備”,并因此不得不引入更多的神經元和網絡連接。

而在預測階段,我們的需求往往集中于個體圖像的識別,而應對這樣相對單一的場景和目標,往往不需要我們使出全部的“看家本領”,只需要使用一部分相關知識針對性地去解決就可以了。

對于深度神經網絡模型,參數,或者說神經元之間的連接,就是它的“知識”,而針對不同的數據對網絡連接進行選擇, 就可以動態地調整網絡的計算過程,對于比較容易辨認的圖像進行較少的編碼和計算,而對于比較難以辨認的圖像進行較多的編碼和計算,從而提高網絡預測的整體效率。

本文介紹的這兩篇文章都是基于這樣的出發點,而它們的關注點又各自不同。

“Runtime” 一文主要關注于減少網絡中卷積層的channel數量,如下圖所示:

關于馭勢通往深度學習之路的分析和介紹

為了簡化模型,他們將網絡中每一個卷積層的卷積核分為k組,根據網絡各前層的輸出特征決定在本層中使用的卷積核數量m(1≤m≤k),并僅使用前m組卷積核參與運算,從而通過減小m來削減層與層之間的連接,達到channel pruning的效果。

而 “SkipNet”一文則主要關注網絡中layer的數量,其主要思想如下圖所示:

關于馭勢通往深度學習之路的分析和介紹

他們為網絡中的每一個層(或每一組層)學習一個“門”,并基于網絡各前層的輸出特征進行判斷,是將前一層輸出的特征圖輸入本層進行計算還是直接越過本層將其送入后續網絡,從而通過“skip”掉盡可能多的層來實現加速的目的。

從直觀上來講,這兩篇文章分別從動態削減模型的“寬度”和“深度”的角度,實現了對預測過程中網絡計算的約減。

那么如何實現對網絡連接方式的動態調整呢?

在網絡由淺至深的過程中,對于網絡中每一層連接方式的選擇(對于“Runtime” 一文是選擇該層使用的卷積核數量,而對于 “SkipNet”一文是選擇該層參與計算與否)可以看作一個序列決策過程,因此,這兩篇文章均選擇了強化學習的方式建模這一過程。將原始的主體CNN網絡作為“Environment”,學習一個額外的輕量的CNN或RNN網絡作為“Agent”來產生決策序列。其中,對于原CNN網絡每一層的決策,作為一個“Action”都將帶來相應的“Reward”。

為了在最大限度地壓縮網絡計算的同時最大化網絡的分類精度,在構建“Reward”函數的過程中,需要同時考慮兩個部分:1.對“Action”約減計算量的獎勵,即prune掉的channel越多或skip掉的layer越多,獲得獎勵越大;2.網絡最終的分類預測損失,即最終分類預測的log損失越小,獲得獎勵越大。由于這兩部分的梯度計算方式不同,因此在對模型目標函數進行優化的過程中,會構成一個“強化學習+監督學習”的混合學習框架。

在具體的算法實現中,這兩篇文章對于“Reward”函數的設計和優化策略的選擇各有不同。“Runtime”一文采取了交替更新的方式,而“SkipNet”一文則采用了混合優化的方式,具體的細節我們就不在這里詳述了。

對于方法的效果,這兩篇文章都給出了嚴謹的數據對比和可視化結果分析,大家可以根據興趣進行更深入的閱讀和研究。而動態網絡結構的意義,可能也不止于單純的約減計算。網絡連接的改變實際上影響著整個特征編碼的過程,以“SkipNet”為例,對n個網絡層的選擇可能會帶來2^n種不同的特征編碼方式,而在訓練這種動態選擇策略的過程中,可能也會一定程度地解耦層與層之間的依賴關系,這也會為我們日后設計更具“自適應性”的網絡結構和研究網絡中信息的傳遞及融合方式帶來更多的啟發。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4814

    瀏覽量

    103441
  • 可視化
    +關注

    關注

    1

    文章

    1259

    瀏覽量

    21813
  • 深度學習
    +關注

    關注

    73

    文章

    5560

    瀏覽量

    122750
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    首款概念跑車亮相2025上海車展

    2025上海國際車展,騰首款概念跑車——騰Z震撼全球首秀,采用Pure Emotion“心流形·本真之境”全新設計理念,并將搭載中國首款全棧自研的線控轉向系統、云輦-M、全線控底盤、易三方等
    的頭像 發表于 04-25 16:22 ?294次閱讀

    工業互聯進階之路:串口服務器與物聯網技術的深度融合

    工業互聯進階之路:串口服務器與物聯網技術的深度融合
    的頭像 發表于 03-24 09:39 ?285次閱讀
    工業互聯進階<b class='flag-5'>之路</b>:串口服務器與物聯網技術的<b class='flag-5'>深度</b>融合

    軍事應用中深度學習的挑戰與機遇

    ,并廣泛介紹深度學習在兩個主要軍事應用領域的應用:情報行動和自主平臺。最后,討論了相關的威脅、機遇、技術和實際困難。主要發現是,人工智能技術并非無所不能,需要謹慎應用,同時考慮到其局限性、網絡安全威脅以及
    的頭像 發表于 02-14 11:15 ?521次閱讀

    BP神經網絡與深度學習的關系

    BP神經網絡與深度學習之間存在著密切的關系,以下是對它們之間關系的介紹: 一、BP神經網絡的基本概念 BP神經網絡,即反向傳播神經網絡(Backpropagation Neural Network
    的頭像 發表于 02-12 15:15 ?841次閱讀

    NPU在深度學習中的應用

    隨著人工智能技術的飛速發展,深度學習作為其核心驅動力之一,已經在眾多領域展現出了巨大的潛力和價值。NPU(Neural Processing Unit,神經網絡處理單元)是專門為深度學習
    的頭像 發表于 11-14 15:17 ?1878次閱讀

    更準、更深度、更貼近業務 數科技智能分析助手SwiftAgent報告功能全面升級

    近期全球金融業領域的盛事——Swift國際銀行業運營大會(簡稱“Sibos年會”)完美收官,數科技數據智能產品總經理岑潤哲在此次大會上深度剖析大模型時代Data+AI的創新能力,并發布了
    的頭像 發表于 10-30 10:45 ?543次閱讀
    更準、更<b class='flag-5'>深度</b>、更貼近業務 數<b class='flag-5'>勢</b>科技智能<b class='flag-5'>分析</b>助手SwiftAgent報告功能全面升級

    Pytorch深度學習訓練的方法

    掌握這 17 種方法,用最省力的方式,加速你的 Pytorch 深度學習訓練。
    的頭像 發表于 10-28 14:05 ?643次閱讀
    Pytorch<b class='flag-5'>深度</b><b class='flag-5'>學習</b>訓練的方法

    GPU深度學習應用案例

    GPU在深度學習中的應用廣泛且重要,以下是一些GPU深度學習應用案例: 一、圖像識別 圖像識別是深度學習
    的頭像 發表于 10-27 11:13 ?1320次閱讀

    激光雷達技術的基于深度學習的進步

    信息。這使得激光雷達在自動駕駛、無人機、機器人等領域具有廣泛的應用前景。 二、深度學習技術的發展 深度學習是機器學習的一個分支,它通過模擬人
    的頭像 發表于 10-27 10:57 ?1046次閱讀

    FPGA加速深度學習模型的案例

    FPGA(現場可編程門陣列)加速深度學習模型是當前硬件加速領域的一個熱門研究方向。以下是一些FPGA加速深度學習模型的案例: 一、基于FPGA的AlexNet卷積運算加速 項目名稱
    的頭像 發表于 10-25 09:22 ?1189次閱讀

    AI大模型與深度學習的關系

    AI大模型與深度學習之間存在著密不可分的關系,它們互為促進,相輔相成。以下是對兩者關系的介紹: 一、深度學習是AI大模型的基礎 技術支撐 :
    的頭像 發表于 10-23 15:25 ?2862次閱讀

    FPGA做深度學習能走多遠?

    的發展前景較為廣闊,但也面臨一些挑戰。以下是一些關于 FPGA 在深度學習中應用前景的觀點,僅供參考: ? 優勢方面: ? 高度定制化的計算架構:FPGA 可以根據深度
    發表于 09-27 20:53

    卡特彼勒推出“通往可持續發展之路”計劃

    近日,卡特彼勒宣布推出一項名為“通往可持續發展之路”(Pathways to Sustainability)的全新教育計劃,旨在助力采礦、采石場和骨料行業客戶的能源轉型之旅。該計劃為期四年,將為參與者提供全面、多元的學習機會、能
    的頭像 發表于 09-18 17:43 ?876次閱讀

    中科分析DPU在云原生網絡與智算網絡中的實際應用

    CCF Chip 2024,精彩不能停!7月21日下午,中科數在第二屆中國計算機學會(CCF)芯片大會的“數專屬時刻”仍在繼續,數組織承辦“DPU技術趨勢和應用——DPU在云原生與智算網絡中
    的頭像 發表于 08-02 11:21 ?1141次閱讀

    PyTorch深度學習開發環境搭建指南

    PyTorch作為一種流行的深度學習框架,其開發環境的搭建對于深度學習研究者和開發者來說至關重要。在Windows操作系統上搭建PyTorch環境,需要綜合考慮多個方面,包括軟件安裝、
    的頭像 發表于 07-16 18:29 ?2467次閱讀
    主站蜘蛛池模板: 亚洲伊人久久综合影院2021 | 日本不卡一区二区三区视频 | 国产免费人成在线看视频 | 美女视频网站色软件免费视频 | 综合网天天操天天射 | 四虎影院的网址 | 欧美性猛交xxxx免费看久久 | 天堂中文字幕在线观看 | 手机看片1024在线 | 在线观看视频免费入口 | 亚洲爱爱网 | 天天操天天干天天爱 | 国产精品嫩草影院在线播放 | 天堂资源最新版在线官网 | 久久免费手机视频 | 欧美大片一区二区三区 | 午夜免费啪 | 夜夜bb| 欧美伊人网 | 色综合久久久久综合99 | 亚洲酒色1314狠狠做 | 日本最新免费网站 | 理论片一区| 操您啦| 日韩成人免费一级毛片 | 中国一级特黄aa毛片大片 | 女bbbbxxxx毛片视频丶 | 亚洲第一福利网站 | 免费观看理论片毛片 | 555成人免费影院 | 大香线蕉97久久 | 日本理论在线观看被窝网 | 九色在线 | 免费两性的视频网站 | 在线观看免费av网站 | 添人人躁日日躁夜夜躁夜夜揉 | 女bbwxxxx非洲黑人 | 伊人久久亚洲综合天堂 | 黄色毛片免费进入 | 久草福利在线播放 | 一级毛片q片 |