91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于相變全光學神經元系統實現監督學習和非監督學習

cMdW_icsmart ? 來源:YXQ ? 2019-05-12 11:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,Nature刊載IBM新研究,使用光學器件打造的“全光學”深度神經網絡可以比傳統計算方式的能效更高,同時具備可擴展性、無需光電轉換和高帶寬等優勢。這一發現可能給未來光學神經網絡加速器的出現打下基礎。

光纖能夠以光的形式在世界范圍內傳輸數據,成為現代電信技術的支柱。不過如果需要分析這些傳輸數據,要將其從光信號轉換為電子信號,然后用電子設備進行處理。曾經有一段時間,光學被認為是未來最具潛力的計算技術的基礎,但與電子計算機的快速進步相比,光學計算技術的競爭力明顯不足。

不過,在過去幾年中,業界越來越關注對計算能源的成本問題。因此,光學計算系統再次受到關注。光學計算的能耗低,又能作為AI算法(如深度神經網絡(DNN))的專用加速硬件。 近日,Feldmann等人在《自然》期刊上發表了這種“全光學網絡實現”的最新進展。

深度神經網絡包括多層人工神經元和人工突觸。這些連接的強度稱為網絡權重,可以是陽性,表示神經元的興奮,或陰性,表示神經元的抑制。網絡會盡力將實際輸出和期望輸出之間的差異實現最小化,從而改變突觸的權重,來執行圖像識別等任務。

CPU和其他硬件加速器通常用于DNN的計算。DNN的訓練可以使用已知數據集,而經過訓練后的DNN可以用來推理任務中的未知數據。雖然計算量很大,但計算操作的多樣性不會很高,因為“乘法累加”操作在許多突觸權重和神經元激勵中占主導地位。

DNN在計算精度較低時仍能正常工作。因此,DNN網絡代表了非傳統計算技術的潛在機會。研究人員正在努力打造基于新型非易失性存儲器件的DNN加速器。這類設備在切斷電源時也能保存信息,通過模擬電子計算提升DNN的速度和能效。

那么,為什么不考慮使用光學器件呢?導光部件中可以包含大量數據 - 無論是用于電信的光纖還是用于光子芯片上的波導。在這種波導內部,可以使用“波分復用”技術,讓許多不同波長的光一起傳播。然后可以以與電子到光學調制和光電子檢測相關的可用帶寬限制的速率調制(以可以攜帶信息的方式改變)每個波長。

圖1 全光學脈沖神經元回路

使用諧振器可以實現單個波長的添加或移除,就像對貨車的裝貨和卸貨一樣。使用微米級環形諧振器可以構建DNN網絡突觸權重陣列。這種諧振器可以采用熱調制,電光調制,或通過相變材料調制。這些材料可以在非晶相和結晶相之間切換,不同的材料的吸光能力差別很大。在理想條件下,進行乘法累加運算的功耗很低。

Feldmann研究團隊在毫米級光子芯片上實現了“全光學神經網絡”,其中網絡內沒有使用光電轉換。輸入的數據被電子調制到不同的波長上注入網絡,但此后所有數據都保留在芯片上。利用集成相變材料實現突觸權重的調節和神經元的集成。

圖2 人工神經元的脈沖生成與操作

本文作者小規模地展示了有監督和無監督的學習 - 即使用標記數據實現訓練(DNN學習的方式),以及使用未標記的數據訓練(類似人類的學習方式)。

圖3 基于相變全光學神經元系統實現監督學習和非監督學習

因為權重表達是通過光的吸收實現的,所以負權重需要更大的偏置信號,該信號不能激活相變材料。一種替代方法是使用Mach-Zehnder干涉儀的裝置,將單個波導分成兩個臂,然后重新組合,這時的透射光量取決于兩個傳播路徑之間光學相位的差異。然而,要想將這種方法與波分復用相結合可能難度較大,因為每個干涉儀的臂需要為每個波長引入適當的相位差。

全光學實現的DNN仍然存在重大挑戰。在理想情況下,它們的總功率使用率可能較低,經常需要熱光功率來調節和維持每個Mach-Zehnder干涉儀臂中的光學相位差異。

圖4 全光學神經網絡的可擴展架構

此外,對注入含有相變材料的系統的總光功率必須仔細校準,以使材料對輸入信號的響應符合預期。盡管相變材料也可以用于調整Mach-Zehnder相位,但是材料吸收光的強度和減慢光速之間會出現不可避免的交叉耦合,這會增加系統的復雜性。

傳統的DNN規模已經發展到很大,可能包含數千個神經元和數百萬個突觸。但是光子網絡的波導需要彼此間隔很遠才能防止耦合,并且避免急劇彎曲以防止光離開波導。因為兩個波導的交叉可能會將不需要的功率注入錯誤路徑,這對光子芯片設計的2D特性造成了實質性的限制。

圖5 單層脈沖神經網絡的實驗實現

實現光學器件打造神經網絡需要很長的距離和很大的面積,但是每個光學結構的關鍵部分的制造需要高精度。這是因為波導和耦合區域,比如在每個微環諧振器的入口和出口處,必須達到相應網絡性能所需的精確尺寸。對于如何制造小型微環諧振器也存在諸多限制。

最后,調制技術提供的光學效應較弱,需要很長的相互作用區域,以使其對通過的光的有限影響能夠達到顯著水平。

Feldmann 團隊的研究中所取得的進步,有望推動該領域的未來發展,該研究可能會為未來高能效、可擴展的光學神經網絡加速器的出現打下基礎。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4814

    瀏覽量

    103734
  • 神經元
    +關注

    關注

    1

    文章

    368

    瀏覽量

    18847

原文標題:下一代計算架構革命,從“全光學神經網絡”開始

文章出處:【微信號:icsmart,微信公眾號:芯智訊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    任正非說 AI已經確定是第四次工業革命 那么如何從容地加入進來呢?

    的基本理論。了解監督學習、無監督學習和強化學習的基本原理。例如,在監督學習中,理解如何通過標注數據來訓練模型進行分類或回歸任務,像通過大量的貓和狗的圖片標注數據來訓練一個圖像分類模型,
    發表于 07-08 17:44

    無刷直流電機單神經元自適應智能控制系統

    摘要:針對無刷直流電機(BLDCM)設計了一種可在線學習的單神經元自適應比例-積分-微分(PID)智能控制器,通過有監督的 Hebb學習規則調整權值,每次采樣根據反饋誤差對
    發表于 06-26 13:36

    無刷直流電機單神經元PI控制器的設計

    摘要:研究了一種基于專家系統的單神經元PI控制器,并將其應用于無刷直流電機調速系統中。控制器實現了PI參數的在線調整,在具有PID控制器良好動態性能的同時,減少微分項對
    發表于 06-26 13:34

    機器學習異常檢測實戰:用Isolation Forest快速構建無標簽異常檢測系統

    本文轉自:DeepHubIMBA無監督異常檢測作為機器學習領域的重要分支,專門用于在缺乏標記數據的環境中識別異常事件。本文深入探討異常檢測技術的理論基礎與實踐應用,通過IsolationForest
    的頭像 發表于 06-24 11:40 ?650次閱讀
    機器<b class='flag-5'>學習</b>異常檢測實戰:用Isolation Forest快速構建無標簽異常檢測<b class='flag-5'>系統</b>

    使用MATLAB進行無監督學習

    監督學習是一種根據未標注數據進行推斷的機器學習方法。無監督學習旨在識別數據中隱藏的模式和關系,無需任何監督或關于結果的先驗知識。
    的頭像 發表于 05-16 14:48 ?700次閱讀
    使用MATLAB進行無<b class='flag-5'>監督學習</b>

    如何優化BP神經網絡的學習

    優化BP神經網絡的學習率是提高模型訓練效率和性能的關鍵步驟。以下是一些優化BP神經網絡學習率的方法: 一、理解學習率的重要性
    的頭像 發表于 02-12 15:51 ?948次閱讀

    BP神經網絡的實現步驟詳解

    網絡的層數、每層神經元的數量以及激活函數。 初始化權重和偏置 : 隨機初始化輸入層與隱藏層、隱藏層與隱藏層、隱藏層與輸出層之間的連接權重,以及各層的偏置項。這些權重和偏置在訓練過程中會逐漸調整。 設置學習率 : 學習率決定了
    的頭像 發表于 02-12 15:50 ?652次閱讀

    BP神經網絡與深度學習的關系

    BP神經網絡與深度學習之間存在著密切的關系,以下是對它們之間關系的介紹: 一、BP神經網絡的基本概念 BP神經網絡,即反向傳播神經網絡(Ba
    的頭像 發表于 02-12 15:15 ?871次閱讀

    深度學習入門:簡單神經網絡的構建與實現

    深度學習中,神經網絡是核心模型。今天我們用 Python 和 NumPy 構建一個簡單的神經網絡。 神經網絡由多個神經元組成,
    的頭像 發表于 01-23 13:52 ?536次閱讀

    使用卷積神經網絡進行圖像分類的步驟

    (例如,高分辨率、不同光照條件等)。 2. 數據收集 獲取數據集 :收集或購買一個包含你想要分類的圖像的數據集。 數據標注 :確保所有圖像都被正確標注,這對于監督學習是必要的。 3. 數據預處理 圖像尺寸標準化 :將所有圖像調整為相同的尺寸,
    的頭像 發表于 11-15 15:01 ?853次閱讀

    卷積神經網絡與傳統神經網絡的比較

    神經網絡,也稱為連接神經網絡(Fully Connected Neural Networks,FCNs),其特點是每一層的每個神經元都與下一層的所有
    的頭像 發表于 11-15 14:53 ?1887次閱讀

    時空引導下的時間序列自監督學習框架

    【導讀】最近,香港科技大學、上海AI Lab等多個組織聯合發布了一篇時間序列無監督預訓練的文章,相比原來的TS2Vec等時間序列表示學習工作,核心在于提出了將空間信息融入到預訓練階段,即在預訓練階段
    的頭像 發表于 11-15 11:41 ?773次閱讀
    時空引導下的時間序列自<b class='flag-5'>監督學習</b>框架

    關于卷積神經網絡,這些概念你厘清了么~

    轉換成一個很長的一維向量。轉換是在所謂的壓平層中完成的,隨后是一個或兩個連接層。連接層的神經元類似于圖2所示的結構。神經網絡最后一層的輸出要與需要區分的類別的數量一致。此外,在最后
    發表于 10-24 13:56

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    收集海量的文本數據作為訓練材料。這些數據集不僅包括語法結構的學習,還包括對語言的深層次理解,如文化背景、語境含義和情感色彩等。 自監督學習:模型采用自監督學習策略,在大量無標簽文本數據上學習
    發表于 08-02 11:03

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    章節最后總結了機器學習的分類:有監督學習、無監督學習、半監督學習、自監督學習和強化學習。 1.3
    發表于 07-25 14:33
    主站蜘蛛池模板: 黄色毛片基地 | 欧美地区一二三区 | bt在线天堂 | 奇米影色777四色在线首页 | 国产清纯白嫩大学生正在播放 | 一级做a爱 一区 | 亚洲伊人tv综合网色 | 亚洲第一色在线 | 99久热 | 色优优| 天天操天天爱天天干 | 天天插伊人 | tube69日本 | 49pao强力免费打造在线高清 | 亚洲婷婷综合网 | 午夜看片a福利在线 | 日日干天天爽 | 国产三级在线播放 | 午夜福利国产一级毛片 | 婷婷色站| 日本三级在线观看免费 | 国产精品久久福利网站 | 免费人成a大片在线观看动漫 | 亚洲综合涩 | 四虎国产精品影库永久免费 | 99热在线获取最新地址 | 国产在线麻豆自在拍91精品 | 美女视频黄色的免费 | 黄视频网站免费看 | 萌白酱一线天粉嫩喷水在线观看 | 伊人天堂在线 | 人人爱爱人人 | 天天艹天天艹 | 可以免费看黄的网站 | 午夜男人天堂 | 国产成都一二三四区 | 日本www色视频成人免费网站 | 女同激情视频 | 亚洲国产精品丝袜在线观看 | 天天搞夜夜操 | 在线观看日本免费视频大片一区 |