資料介紹
基于數(shù)據(jù)并行化的異步隨機梯度下降(ASGD)算法由于需要在分布式計算節(jié)點之間頻繁交換梯度數(shù)據(jù),從而影響算法執(zhí)行效率。提出基于分布式編碼的同步隨機梯度下降(SSGD)算法,利用計算任務的冗余分發(fā)策略對每個節(jié)點的中間結果傳輸時間進行量化以減少單一批次訓練時間,并通過數(shù)據(jù)傳輸編碼策略的分組數(shù)據(jù)交換模式降低節(jié)點間的數(shù)據(jù)通信總量。實驗結果表明,當配置合適的超參數(shù)時,與SSGD和ASGD算法相比,該算法在深度神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡分布式訓練中平均減少了5397%、26.89%和39,11%、26.37%的訓練時間,從而證明其能有效降低分布式集群的通信負載并保證神經(jīng)網(wǎng)絡的訓練精確度。
- PyTorch教程12.5之小批量隨機梯度下降
- PyTorch教程12.4之隨機梯度下降
- MapReduce框架下分布式編碼計算容錯算法 2次下載
- 輕量級分布式機器學習系統(tǒng)及算法 16次下載
- 一種更安全的分布式一致性算法選舉機制 9次下載
- 結合網(wǎng)絡推演和失效檢測算法的航電分布式顯控 13次下載
- 一種分布式網(wǎng)絡掃描架構和任務調(diào)度算法 19次下載
- 快速在線分布式對偶平均優(yōu)化算法 5次下載
- 隨機并行梯度下降圖像匹配方法性能研究及優(yōu)化_李松洋 0次下載
- 隨機梯度估值在盲均衡算法中的影響
- WMSN的分布式視頻編碼技術研究 24次下載
- 多徑信道下的異步分布式線性卷積空時編碼
- 分布式認知無線網(wǎng)絡中的頻譜接入凸規(guī)劃算法
- 基于DSP的分布式并行遺傳算法
- 基于混沌置亂預處理的分布式視頻編碼
- 【技術分享】EtherCAT 分布式時鐘簡介 430次閱讀
- Java手寫分布式鎖的實現(xiàn) 424次閱讀
- 鴻蒙分布式相機“踩坑”分享 1578次閱讀
- 如何緩解DDoS(分布式拒絕服務)導致的性能下降 1360次閱讀
- 如何通過分布式數(shù)據(jù)管理實現(xiàn)多臺設備間的數(shù)據(jù)同步更新 3381次閱讀
- 適用于分布式MIMO系統(tǒng)中的時間頻率同步算法研究 2556次閱讀
- 利用NI VeriStand 2010實現(xiàn)分布式同步系統(tǒng)的設計 3154次閱讀
- 分布式光纖傳感器原理_分布式光纖傳感器的應用 8424次閱讀
- 講解隨機梯度下降、類別數(shù)據(jù)編碼、Vowpal Wabbit機器學習庫 6132次閱讀
- 淺談分布式塊存儲的元數(shù)據(jù)服務設計 4871次閱讀
- 梯度下降算法及其變種:批量梯度下降,小批量梯度下降和隨機梯度下降 2w次閱讀
- 機器學習中梯度下降法的過程 3360次閱讀
- 機器學習:隨機梯度下降和批量梯度下降算法介紹 8657次閱讀
- 一種基于分布式算法的低通FIR濾波器 3191次閱讀
- 深度解讀分布式存儲技術之分布式剪枝系統(tǒng) 1773次閱讀
下載排行
本周
- 1感應筆電路圖
- 0.06 MB | 6次下載 | 免費
- 2美的電磁爐維修手冊大全
- 1.56 MB | 4次下載 | 5 積分
- 3Cortex-M3/M4F指令集技術用戶手冊
- 2.28MB | 3次下載 | 免費
- 4基于PLC的拉絲機張力控制系統(tǒng)研究
- 0.14 MB | 2次下載 | 5 積分
- 5LZC3106G高性能諧振控制器中文手冊
- 1.29 MB | 1次下載 | 1 積分
- 6JL2233B集成電平轉換功能的LDO中文手冊
- 0.50 MB | 1次下載 | 免費
- 7如何PC訪問內(nèi)網(wǎng)及VPN
- 19.15 MB | 1次下載 | 1 積分
- 8萬用表UT58A原理圖
- 0.09 MB | 1次下載 | 5 積分
本月
- 1使用單片機實現(xiàn)七人表決器的程序和仿真資料免費下載
- 2.96 MB | 44次下載 | 免費
- 2UC3842/3/4/5電源管理芯片中文手冊
- 1.75 MB | 17次下載 | 免費
- 3DMT0660數(shù)字萬用表產(chǎn)品說明書
- 0.70 MB | 13次下載 | 免費
- 43314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 13次下載 | 免費
- 5華瑞昇CR216芯片數(shù)字萬用表規(guī)格書附原理圖及校正流程方法
- 0.74 MB | 12次下載 | 3 積分
- 6TPS54202H降壓轉換器評估模塊用戶指南
- 1.02MB | 8次下載 | 免費
- 7STM32F101x8/STM32F101xB手冊
- 1.69 MB | 8次下載 | 1 積分
- 8使用TL431設計電源
- 0.67 MB | 6次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935119次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233084次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191367次下載 | 10 積分
- 5十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73807次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65987次下載 | 10 積分
評論