電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻現(xiàn)在我們對單個變量的函數(shù)的導(dǎo)數(shù)有了相當(dāng)深入的理解，讓我們回到我們最初的問題，我們正在考慮可能有數(shù)十億權(quán)重的損失函數(shù)。
22.4.1。高維微分
第 22.3 節(jié)告訴我們的是，如果我們改變這數(shù)十億個權(quán)重中的一個，而讓其他權(quán)重保持不變，我們知道會發(fā)生什么！這無非是一個單變量的函數(shù)，所以我們可以這樣寫
(22.4.1)L(w1+?1,w2,…,wN)≈L(w1,w2,…,wN)+?1ddw1L(w1,w2,…,wN).
我們將一個變量的導(dǎo)數(shù)稱為偏導(dǎo)數(shù)，同時將其他變量固定為偏導(dǎo)數(shù)，我們將使用符號 ??w1對于(22.4.1)中的導(dǎo)數(shù) 。
現(xiàn)在，讓我們改變一下w2一點點 w2+?2:
(22.4.2)L(w1+?1,w2+?2,…,wN)≈L(w1,w2+?2,…,wN)+?1??w1L(w1,w2+?2,…,wN+?N)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN)+?1?2??w2??w1L(w1,w2,…,wN)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN).
我們再次使用了這樣的想法?1?2是一個更高階的項，我們可以用我們可以丟棄的相同方式丟棄
上傳資料賺積分
工商網(wǎng)監(jiān)
評論