摘要
時(shí)間序列預(yù)測方法包括使用一組歷史時(shí)間序列進(jìn)行預(yù)測,在信號(hào)處理、模式識(shí)別、計(jì)量經(jīng)濟(jì)學(xué)、數(shù)學(xué)金融、天氣預(yù)報(bào)、地震預(yù)測等領(lǐng)域都有廣泛應(yīng)用。過去時(shí)間序列預(yù)測方法以線性方法為主,然而在許多最新的應(yīng)用中已經(jīng)嘗試使用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、高斯過程和人工神經(jīng)網(wǎng)絡(luò)等技術(shù)來進(jìn)行時(shí)間序列預(yù)測。 在處理時(shí)間序列預(yù)測問任務(wù)時(shí),損失函數(shù)的選擇非常重要,因?yàn)樗鼤?huì)驅(qū)動(dòng)算法的學(xué)習(xí)過程。以往的工作提出了不同的損失函數(shù),以解決數(shù)據(jù)存在偏差、需要長期預(yù)測、存在多重共線性特征等問題。
本文工作總結(jié)了常用的的 14 個(gè)損失函數(shù)并對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行分析,這些損失函數(shù)已被證明在不同領(lǐng)域提供了最先進(jìn)的結(jié)果。本文在在各種時(shí)間序列基準(zhǔn)任務(wù)上對(duì)它們的表現(xiàn)進(jìn)行分析,希望能助行業(yè)專業(yè)人士和研究人員快速的為任務(wù)選取合適的損失函數(shù),避免過多的實(shí)驗(yàn)嘗試。
問題背景
回歸是一種常見的預(yù)測建模技術(shù),用于估計(jì)兩個(gè)或多個(gè)變量之間的關(guān)系。它是一種監(jiān)督學(xué)習(xí)技術(shù),可以定義為用于對(duì)相關(guān)實(shí)數(shù)變量之間的關(guān)系建模的統(tǒng)計(jì)技術(shù)和自變量。
時(shí)間序列數(shù)據(jù)與一般基于回歸的數(shù)據(jù)略有不同,因?yàn)樵谔卣髦刑砑恿藭r(shí)間信息,使目標(biāo)更加復(fù)雜。時(shí)間序列數(shù)據(jù)具有以下組成部分
level:每個(gè)時(shí)間序列都有一個(gè) base level,簡單的 base level 的計(jì)算可以直接通過對(duì)歷史數(shù)據(jù)進(jìn)行平均/中位數(shù)計(jì)算得到;
周期性:時(shí)間序列數(shù)據(jù)也有一種稱為周期性的模式,它不定期重復(fù),這意味著它不會(huì)以相同的固定間隔出現(xiàn);
趨勢:表示時(shí)間序列在一段時(shí)間內(nèi)是增加還是減少。也就是說,它有上升(增加)或下降(減少)的趨勢;
季節(jié)性:在一段時(shí)間內(nèi)重復(fù)出現(xiàn)的模式稱為季節(jié)性;
噪聲:在提取水平、周期性、趨勢和季節(jié)性之后,剩下的就是噪聲,噪聲是數(shù)據(jù)中完全隨機(jī)的變化。
每個(gè)機(jī)器學(xué)習(xí)模型的基本目標(biāo)都是改進(jìn)模型的選定指標(biāo)并減少與之相關(guān)的損失。用于時(shí)間序列預(yù)測的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型的一個(gè)重要組成部分是損失函數(shù),模型的性能是根據(jù)損失函數(shù)來衡量的,促使了模型參數(shù)的更新。
14種損失函數(shù)分析
3.1 Mean Absolute Error (MAE)
MAE,也稱為 L1 損失,是預(yù)測值與實(shí)際值之間的絕對(duì)誤差:
所有樣本值的絕對(duì)誤差的均值就稱為 MAE:
▲ MAE Loss與Predictions的性能圖
MAE 是回歸模型中經(jīng)常使用的一種簡單有效的損失函數(shù)。但是由于異常值,回歸問題中的變量可能不是嚴(yán)格的高斯變量會(huì)帶來一些問題。
3.2 Mean Squared Error (MSE) MSE,也稱為 L2 損失,是預(yù)測值與實(shí)際值之間的平方誤差:
所有樣本值的平方誤差的均值就稱為 MSE,也稱作均方誤差:
MSE 也稱為二次損失,因?yàn)閼土P是平方而不是與誤差成正比。當(dāng)誤差被平方時(shí),離群值被賦予更多的權(quán)重,為較小的誤差創(chuàng)建一個(gè)平滑的梯度。受益于這種對(duì)巨大錯(cuò)誤的懲罰,有助于優(yōu)化算法獲得參數(shù)的最佳值。鑒于錯(cuò)誤是平方的,MSE 永遠(yuǎn)不會(huì)是負(fù)數(shù),錯(cuò)誤的值可以是 0 到無窮大之間的任何值。隨著錯(cuò)誤的增加,MSE 呈指數(shù)增長,好的模型的 MSE 值將接近于 0。
3.3 Mean Bias Error (MBE) 高估或低估參數(shù)值的傾向稱為偏差或平均偏差誤差。偏差的唯一可能方向是正向或負(fù)向。正偏差表示數(shù)據(jù)誤差被高估,而負(fù)偏差表示誤差被低估。
實(shí)際值和預(yù)期值之間的差異被測量為平均偏差誤差(MBE)。預(yù)測中的平均偏差由 MBE 量化。除了不考慮絕對(duì)值外,它實(shí)際上與 MAE 相同。應(yīng)謹(jǐn)慎對(duì)待 MBE,因?yàn)檎蛘`差和負(fù)向誤差可能會(huì)相互抵消。
▲ MBE Loss與Predictions的性能圖
3.4 Relative Absolute Error (RAE)
RAE 的計(jì)算將總絕對(duì)誤差除以平均值與實(shí)際值之間的絕對(duì)差值:
RAE 是一種基于比率的指標(biāo),用于評(píng)估預(yù)測模型的有效性。RAE 的可能值介于 0 和 1 之間。接近零的值(零是最佳值)是良好模型的特征。
▲ RAE Loss與Predictions的性能圖
3.5 Relative Squared Error (RSE) RSE 衡量在沒有簡單預(yù)測器的情況下結(jié)果的不準(zhǔn)確程度。這個(gè)簡單的預(yù)測變量僅代表實(shí)際值的平均值。結(jié)果,相對(duì)平方誤差將總平方誤差除以簡單預(yù)測變量的總平方誤差以對(duì)其進(jìn)行歸一化。可以在以不同單位計(jì)算誤差的模型之間進(jìn)行比較。
▲ RSE Loss與Predictions的性能圖
3.6 Mean Absolute Percentage Error (MAPE) 平均絕對(duì)百分比誤差(MAPE),也稱為平均絕對(duì)百分比偏差(MAPD),是用于評(píng)估預(yù)測系統(tǒng)準(zhǔn)確性的指標(biāo)。它通過從實(shí)際值減去預(yù)測值的絕對(duì)值除以實(shí)際值來計(jì)算每個(gè)時(shí)間段的平均絕對(duì)百分比誤差百分比。由于變量的單位縮放為百分比單位,因此平均絕對(duì)百分比誤差(MAPE)廣泛用于預(yù)測誤差。當(dāng)數(shù)據(jù)中沒有異常值時(shí),它效果很好,常用于回歸分析和模型評(píng)估。
▲ MAPE Loss與Predictions的性能圖
3.7 Root Mean Squared Error (RMSE)
MSE 的平方根用于計(jì)算 RMSE。均方根偏差是 RMSE 的另一個(gè)名稱。它考慮了實(shí)際值的變化并測量誤差的平均幅度。RMSE 可以應(yīng)用于各種特征,因?yàn)樗兄诖_定特征是否增強(qiáng)模型預(yù)測。當(dāng)非常不希望出現(xiàn)巨大錯(cuò)誤時(shí),RMSE 最有用。
▲RMSE Loss與Predictions的性能圖
3.8 Mean Squared Logarithmic Error (MSLE)
均方對(duì)數(shù)誤差(MSLE)衡量實(shí)際值與預(yù)期值之間的差異。添加對(duì)數(shù)減少了 MSLE 對(duì)實(shí)際值和預(yù)測值之間的百分比差異以及兩者之間的相對(duì)差異的關(guān)注。MSLE 將粗略地處理小的實(shí)際值和預(yù)期值之間的微小差異以及大的真實(shí)值和預(yù)測值之間的巨大差異。
這種損失可以解釋為真實(shí)值和預(yù)測值之間比率的度量:
▲MSLE Loss與Predictions的性能圖
3.9 Root Mean Squared Logarithmic Error (RMSLE)
RMSLE 通過應(yīng)用 log 到實(shí)際和預(yù)測的值,然后進(jìn)行相減。當(dāng)同時(shí)考慮小誤差和大誤差時(shí),RMSLE 可以避免異常值的影響。
▲RMSLE Loss與Predictions的性能圖
3.10 Normalized Root Mean Squared Error (NRMSE) 歸一化均方根誤差(NRMSE)RMSE 有助于不同尺度模型之間的比較。該變量具有觀測范圍的歸一化 RMSE(NRMSE),它將 RMSE 連接到觀測范圍。
▲NRMSE Loss與Predictions的性能圖
3.11 Relative Root Mean Squared Error (RRMSE)
RRMSE 是沒有維度的 RMSE 變體。相對(duì)均方根誤差(RRMSE)是一種均方根誤差度量,它已根據(jù)實(shí)際值進(jìn)行縮放,然后由均方根值歸一化。雖然原始測量的尺度限制了 RMSE,但 RRMSE 可用于比較各種測量方法。當(dāng)您的預(yù)測被證明是錯(cuò)誤的時(shí),會(huì)出現(xiàn)增強(qiáng)的 RRMSE,并且該錯(cuò)誤由 RRMSE 相對(duì)或以百分比表示。
▲RRMSE Loss與Predictions的性能圖
3.12 Huber Loss Huber 損失是二次和線性評(píng)分算法的理想組合。還有超參數(shù) delta. 對(duì)于小于 delta 的損失值,應(yīng)該使用 MSE;對(duì)于大于 delta 的損失值,應(yīng)使用 MAE。這成功地結(jié)合了兩種損失函數(shù)的最大特點(diǎn)。
▲Huber Loss與Predictions的性能圖
3.13 LogCosh Loss
LogCosh 計(jì)算誤差的雙曲余弦的對(duì)數(shù)。這個(gè)函數(shù)比二次損失更平滑。它的功能類似于 MSE,但不受重大預(yù)測誤差的影響。鑒于它使用線性和二次評(píng)分技術(shù),它非常接近 Huber 損失。
▲LogCosh Loss與Predictions的性能圖
3.14 Quantile Loss 分位數(shù)回歸損失函數(shù)用于預(yù)測分位數(shù)。分位數(shù)是指示組中有多少值低于或高于特定閾值的值。它計(jì)算跨預(yù)測變量(獨(dú)立)變量值的響應(yīng)(因)變量的條件中位數(shù)或分位數(shù)。除了第 50 個(gè)百分位數(shù)是 MAE,損失函數(shù)是 MAE 的擴(kuò)展。它不對(duì)響應(yīng)的參數(shù)分布做出任何假設(shè),甚至為具有非常量方差的殘差提供預(yù)測區(qū)間。
▲Quantile Loss與Predictions的性能圖
實(shí)驗(yàn)分析各種損失函數(shù)在時(shí)間序列任務(wù)上的表現(xiàn)
數(shù)據(jù)集
電力負(fù)荷數(shù)據(jù)集-數(shù)據(jù)集包含 370 點(diǎn)/客戶端的電力消耗。
交通數(shù)據(jù)集-數(shù)據(jù)集包含 15 個(gè)月的每日數(shù)據(jù)(440 條每日記錄),描述了舊金山灣區(qū)高速公路不同車道隨時(shí)間變化的占用率,數(shù)值介于 0 和 1 之間。
Favorita 數(shù)據(jù)集-包含日期、商店和商品信息、該商品是否正在促銷以及單位銷售額的雜貨數(shù)據(jù)集。
波動(dòng)率數(shù)據(jù)集-數(shù)據(jù)集包含衡量金融資產(chǎn)或指數(shù)過去波動(dòng)性。
評(píng)估指標(biāo)
實(shí)驗(yàn)使用 P10、P50 和 P90 度量評(píng)估了所有損失函數(shù)的性能。預(yù)測的上限和下限可以通過分位數(shù)提供。80% 置信區(qū)間是可以獲得的值范圍,例如,通過使用預(yù)測類型 0.1(P10)和 0.9(P90)。在 10% 的情況下,觀測值應(yīng)小于 P10 值,在 90% 的情況下 P90 值應(yīng)更高。 總的來說:
在電力數(shù)據(jù)集的任務(wù)上,Quantile Loss、MSE 和 RRMSE 損失表現(xiàn)良好。
在交通數(shù)據(jù)集任務(wù)上,Log Cosh Loss、Quantile Loss 和 MAE 表現(xiàn)更好。
在 Favorita 數(shù)據(jù)集任務(wù)上,RAE、LogCosh Loss 和 Quantile Loss 表現(xiàn)更好。
在波動(dòng)率數(shù)據(jù)集任務(wù)上,Quantile Loss、MAE 和 Huber Loss 表現(xiàn)更好。
總結(jié)展望
損失函數(shù)在確定給定目標(biāo)的良好擬合模型中起著關(guān)鍵作用。對(duì)于時(shí)間序列預(yù)測等復(fù)雜目標(biāo),不可能確定通用損失函數(shù)。有很多因素,如異常值、數(shù)據(jù)分布的偏差、ML 模型要求、計(jì)算要求和性能要求。沒有適用于所有類型數(shù)據(jù)的單一損失函數(shù)。在主要關(guān)注模型架構(gòu)和數(shù)據(jù)類型的學(xué)術(shù)環(huán)境中,損失函數(shù)可以通過用于訓(xùn)練的數(shù)據(jù)集屬性(如分布、邊界等)來確定。 這項(xiàng)工作試圖構(gòu)建特定損失函數(shù)可能有用的情況,例如在數(shù)據(jù)集中出現(xiàn)異常值的情況下,均方誤差是最佳策略;然而,如果有更少的異常值,則平均絕對(duì)誤差將是比 MSE 更好的選擇。同樣,如果我們希望保持平衡,并且我們的目標(biāo)基于百分位數(shù)損失,那么使用 LogCosh 是更好的方法。本文總結(jié)了用于時(shí)間序列預(yù)測的 14 個(gè)著名損失函數(shù),并開發(fā)了一種易于處理的損失函數(shù)形式,用于改進(jìn)和更準(zhǔn)確的優(yōu)化。
審核編輯 :李倩
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4809瀏覽量
102863 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4371瀏覽量
64254 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8492瀏覽量
134131
原文標(biāo)題:最新綜述:詳細(xì)分析14種可用于時(shí)間序列預(yù)測的損失函數(shù)
文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
評(píng)論