摘要

時(shí)間序列預(yù)測方法包括使用一組歷史時(shí)間序列進(jìn)行預(yù)測，在信號(hào)處理、模式識(shí)別、計(jì)量經(jīng)濟(jì)學(xué)、數(shù)學(xué)金融、天氣預(yù)報(bào)、地震預(yù)測等領(lǐng)域都有廣泛應(yīng)用。過去時(shí)間序列預(yù)測方法以線性方法為主，然而在許多最新的應(yīng)用中已經(jīng)嘗試使用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、高斯過程和人工神經(jīng)網(wǎng)絡(luò)等技術(shù)來進(jìn)行時(shí)間序列預(yù)測。 在處理時(shí)間序列預(yù)測問任務(wù)時(shí)，損失函數(shù)的選擇非常重要，因?yàn)樗鼤?huì)驅(qū)動(dòng)算法的學(xué)習(xí)過程。以往的工作提出了不同的損失函數(shù)，以解決數(shù)據(jù)存在偏差、需要長期預(yù)測、存在多重共線性特征等問題。
本文工作總結(jié)了常用的的 14 個(gè)損失函數(shù)并對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行分析，這些損失函數(shù)已被證明在不同領(lǐng)域提供了最先進(jìn)的結(jié)果。本文在在各種時(shí)間序列基準(zhǔn)任務(wù)上對(duì)它們的表現(xiàn)進(jìn)行分析，希望能助行業(yè)專業(yè)人士和研究人員快速的為任務(wù)選取合適的損失函數(shù)，避免過多的實(shí)驗(yàn)嘗試。

問題背景

回歸是一種常見的預(yù)測建模技術(shù)，用于估計(jì)兩個(gè)或多個(gè)變量之間的關(guān)系。它是一種監(jiān)督學(xué)習(xí)技術(shù)，可以定義為用于對(duì)相關(guān)實(shí)數(shù)變量之間的關(guān)系建模的統(tǒng)計(jì)技術(shù)和自變量。
時(shí)間序列數(shù)據(jù)與一般基于回歸的數(shù)據(jù)略有不同，因?yàn)樵谔卣髦刑砑恿藭r(shí)間信息，使目標(biāo)更加復(fù)雜。時(shí)間序列數(shù)據(jù)具有以下組成部分

level：每個(gè)時(shí)間序列都有一個(gè) base level，簡單的 base level 的計(jì)算可以直接通過對(duì)歷史數(shù)據(jù)進(jìn)行平均/中位數(shù)計(jì)算得到；

周期性：時(shí)間序列數(shù)據(jù)也有一種稱為周期性的模式，它不定期重復(fù)，這意味著它不會(huì)以相同的固定間隔出現(xiàn)；

趨勢：表示時(shí)間序列在一段時(shí)間內(nèi)是增加還是減少。也就是說，它有上升（增加）或下降（減少）的趨勢；

季節(jié)性：在一段時(shí)間內(nèi)重復(fù)出現(xiàn)的模式稱為季節(jié)性；

噪聲：在提取水平、周期性、趨勢和季節(jié)性之后，剩下的就是噪聲，噪聲是數(shù)據(jù)中完全隨機(jī)的變化。

每個(gè)機(jī)器學(xué)習(xí)模型的基本目標(biāo)都是改進(jìn)模型的選定指標(biāo)并減少與之相關(guān)的損失。用于時(shí)間序列預(yù)測的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型的一個(gè)重要組成部分是損失函數(shù)，模型的性能是根據(jù)損失函數(shù)來衡量的，促使了模型參數(shù)的更新。

14種損失函數(shù)分析

3.1 Mean Absolute Error (MAE)

MAE，也稱為 L1 損失，是預(yù)測值與實(shí)際值之間的絕對(duì)誤差：

所有樣本值的絕對(duì)誤差的均值就稱為 MAE：

▲ MAE Loss與Predictions的性能圖
MAE 是回歸模型中經(jīng)常使用的一種簡單有效的損失函數(shù)。但是由于異常值，回歸問題中的變量可能不是嚴(yán)格的高斯變量會(huì)帶來一些問題。

3.2 Mean Squared Error (MSE) MSE，也稱為 L2 損失，是預(yù)測值與實(shí)際值之間的平方誤差：

所有樣本值的平方誤差的均值就稱為 MSE，也稱作均方誤差：

MSE 也稱為二次損失，因?yàn)閼土P是平方而不是與誤差成正比。當(dāng)誤差被平方時(shí)，離群值被賦予更多的權(quán)重，為較小的誤差創(chuàng)建一個(gè)平滑的梯度。受益于這種對(duì)巨大錯(cuò)誤的懲罰，有助于優(yōu)化算法獲得參數(shù)的最佳值。鑒于錯(cuò)誤是平方的，MSE 永遠(yuǎn)不會(huì)是負(fù)數(shù)，錯(cuò)誤的值可以是 0 到無窮大之間的任何值。隨著錯(cuò)誤的增加，MSE 呈指數(shù)增長，好的模型的 MSE 值將接近于 0。

3.3 Mean Bias Error (MBE) 高估或低估參數(shù)值的傾向稱為偏差或平均偏差誤差。偏差的唯一可能方向是正向或負(fù)向。正偏差表示數(shù)據(jù)誤差被高估，而負(fù)偏差表示誤差被低估。
實(shí)際值和預(yù)期值之間的差異被測量為平均偏差誤差（MBE）。預(yù)測中的平均偏差由 MBE 量化。除了不考慮絕對(duì)值外，它實(shí)際上與 MAE 相同。應(yīng)謹(jǐn)慎對(duì)待 MBE，因?yàn)檎蛘`差和負(fù)向誤差可能會(huì)相互抵消。

▲ MBE Loss與Predictions的性能圖

3.4 Relative Absolute Error (RAE)

RAE 的計(jì)算將總絕對(duì)誤差除以平均值與實(shí)際值之間的絕對(duì)差值：

RAE 是一種基于比率的指標(biāo)，用于評(píng)估預(yù)測模型的有效性。RAE 的可能值介于 0 和 1 之間。接近零的值（零是最佳值）是良好模型的特征。

▲ RAE Loss與Predictions的性能圖

3.5 Relative Squared Error (RSE) RSE 衡量在沒有簡單預(yù)測器的情況下結(jié)果的不準(zhǔn)確程度。這個(gè)簡單的預(yù)測變量僅代表實(shí)際值的平均值。結(jié)果，相對(duì)平方誤差將總平方誤差除以簡單預(yù)測變量的總平方誤差以對(duì)其進(jìn)行歸一化。可以在以不同單位計(jì)算誤差的模型之間進(jìn)行比較。

▲ RSE Loss與Predictions的性能圖

3.6 Mean Absolute Percentage Error (MAPE) 平均絕對(duì)百分比誤差（MAPE），也稱為平均絕對(duì)百分比偏差（MAPD），是用于評(píng)估預(yù)測系統(tǒng)準(zhǔn)確性的指標(biāo)。它通過從實(shí)際值減去預(yù)測值的絕對(duì)值除以實(shí)際值來計(jì)算每個(gè)時(shí)間段的平均絕對(duì)百分比誤差百分比。由于變量的單位縮放為百分比單位，因此平均絕對(duì)百分比誤差（MAPE）廣泛用于預(yù)測誤差。當(dāng)數(shù)據(jù)中沒有異常值時(shí)，它效果很好，常用于回歸分析和模型評(píng)估。

▲ MAPE Loss與Predictions的性能圖

3.7 Root Mean Squared Error (RMSE)

MSE 的平方根用于計(jì)算 RMSE。均方根偏差是 RMSE 的另一個(gè)名稱。它考慮了實(shí)際值的變化并測量誤差的平均幅度。RMSE 可以應(yīng)用于各種特征，因?yàn)樗兄诖_定特征是否增強(qiáng)模型預(yù)測。當(dāng)非常不希望出現(xiàn)巨大錯(cuò)誤時(shí)，RMSE 最有用。

▲RMSE Loss與Predictions的性能圖

3.8 Mean Squared Logarithmic Error (MSLE)

均方對(duì)數(shù)誤差（MSLE）衡量實(shí)際值與預(yù)期值之間的差異。添加對(duì)數(shù)減少了 MSLE 對(duì)實(shí)際值和預(yù)測值之間的百分比差異以及兩者之間的相對(duì)差異的關(guān)注。MSLE 將粗略地處理小的實(shí)際值和預(yù)期值之間的微小差異以及大的真實(shí)值和預(yù)測值之間的巨大差異。

這種損失可以解釋為真實(shí)值和預(yù)測值之間比率的度量：

▲MSLE Loss與Predictions的性能圖

3.9 Root Mean Squared Logarithmic Error (RMSLE)

RMSLE 通過應(yīng)用 log 到實(shí)際和預(yù)測的值，然后進(jìn)行相減。當(dāng)同時(shí)考慮小誤差和大誤差時(shí)，RMSLE 可以避免異常值的影響。

▲RMSLE Loss與Predictions的性能圖

3.10 Normalized Root Mean Squared Error (NRMSE) 歸一化均方根誤差（NRMSE）RMSE 有助于不同尺度模型之間的比較。該變量具有觀測范圍的歸一化 RMSE（NRMSE），它將 RMSE 連接到觀測范圍。

▲NRMSE Loss與Predictions的性能圖

3.11 Relative Root Mean Squared Error (RRMSE)

RRMSE 是沒有維度的 RMSE 變體。相對(duì)均方根誤差（RRMSE）是一種均方根誤差度量，它已根據(jù)實(shí)際值進(jìn)行縮放，然后由均方根值歸一化。雖然原始測量的尺度限制了 RMSE，但 RRMSE 可用于比較各種測量方法。當(dāng)您的預(yù)測被證明是錯(cuò)誤的時(shí)，會(huì)出現(xiàn)增強(qiáng)的 RRMSE，并且該錯(cuò)誤由 RRMSE 相對(duì)或以百分比表示。

▲RRMSE Loss與Predictions的性能圖

3.12 Huber Loss Huber 損失是二次和線性評(píng)分算法的理想組合。還有超參數(shù) delta. 對(duì)于小于 delta 的損失值，應(yīng)該使用 MSE；對(duì)于大于 delta 的損失值，應(yīng)使用 MAE。這成功地結(jié)合了兩種損失函數(shù)的最大特點(diǎn)。

▲Huber Loss與Predictions的性能圖

3.13 LogCosh Loss

LogCosh 計(jì)算誤差的雙曲余弦的對(duì)數(shù)。這個(gè)函數(shù)比二次損失更平滑。它的功能類似于 MSE，但不受重大預(yù)測誤差的影響。鑒于它使用線性和二次評(píng)分技術(shù)，它非常接近 Huber 損失。

▲LogCosh Loss與Predictions的性能圖

3.14 Quantile Loss 分位數(shù)回歸損失函數(shù)用于預(yù)測分位數(shù)。分位數(shù)是指示組中有多少值低于或高于特定閾值的值。它計(jì)算跨預(yù)測變量（獨(dú)立）變量值的響應(yīng)（因）變量的條件中位數(shù)或分位數(shù)。除了第 50 個(gè)百分位數(shù)是 MAE，損失函數(shù)是 MAE 的擴(kuò)展。它不對(duì)響應(yīng)的參數(shù)分布做出任何假設(shè)，甚至為具有非常量方差的殘差提供預(yù)測區(qū)間。

▲Quantile Loss與Predictions的性能圖

實(shí)驗(yàn)分析各種損失函數(shù)在時(shí)間序列任務(wù)上的表現(xiàn)

數(shù)據(jù)集

電力負(fù)荷數(shù)據(jù)集-數(shù)據(jù)集包含 370 點(diǎn)/客戶端的電力消耗。

交通數(shù)據(jù)集-數(shù)據(jù)集包含 15 個(gè)月的每日數(shù)據(jù)（440 條每日記錄），描述了舊金山灣區(qū)高速公路不同車道隨時(shí)間變化的占用率，數(shù)值介于 0 和 1 之間。

Favorita 數(shù)據(jù)集-包含日期、商店和商品信息、該商品是否正在促銷以及單位銷售額的雜貨數(shù)據(jù)集。

波動(dòng)率數(shù)據(jù)集-數(shù)據(jù)集包含衡量金融資產(chǎn)或指數(shù)過去波動(dòng)性。

評(píng)估指標(biāo)
實(shí)驗(yàn)使用 P10、P50 和 P90 度量評(píng)估了所有損失函數(shù)的性能。預(yù)測的上限和下限可以通過分位數(shù)提供。80% 置信區(qū)間是可以獲得的值范圍，例如，通過使用預(yù)測類型 0.1（P10）和 0.9（P90）。在 10% 的情況下，觀測值應(yīng)小于 P10 值，在 90% 的情況下 P90 值應(yīng)更高。 總的來說：

在電力數(shù)據(jù)集的任務(wù)上，Quantile Loss、MSE 和 RRMSE 損失表現(xiàn)良好。

在交通數(shù)據(jù)集任務(wù)上，Log Cosh Loss、Quantile Loss 和 MAE 表現(xiàn)更好。

在 Favorita 數(shù)據(jù)集任務(wù)上，RAE、LogCosh Loss 和 Quantile Loss 表現(xiàn)更好。

在波動(dòng)率數(shù)據(jù)集任務(wù)上，Quantile Loss、MAE 和 Huber Loss 表現(xiàn)更好。

總結(jié)展望

損失函數(shù)在確定給定目標(biāo)的良好擬合模型中起著關(guān)鍵作用。對(duì)于時(shí)間序列預(yù)測等復(fù)雜目標(biāo)，不可能確定通用損失函數(shù)。有很多因素，如異常值、數(shù)據(jù)分布的偏差、ML 模型要求、計(jì)算要求和性能要求。沒有適用于所有類型數(shù)據(jù)的單一損失函數(shù)。在主要關(guān)注模型架構(gòu)和數(shù)據(jù)類型的學(xué)術(shù)環(huán)境中，損失函數(shù)可以通過用于訓(xùn)練的數(shù)據(jù)集屬性（如分布、邊界等）來確定。 這項(xiàng)工作試圖構(gòu)建特定損失函數(shù)可能有用的情況，例如在數(shù)據(jù)集中出現(xiàn)異常值的情況下，均方誤差是最佳策略；然而，如果有更少的異常值，則平均絕對(duì)誤差將是比 MSE 更好的選擇。同樣，如果我們希望保持平衡，并且我們的目標(biāo)基于百分位數(shù)損失，那么使用 LogCosh 是更好的方法。本文總結(jié)了用于時(shí)間序列預(yù)測的 14 個(gè)著名損失函數(shù)，并開發(fā)了一種易于處理的損失函數(shù)形式，用于改進(jìn)和更準(zhǔn)確的優(yōu)化。

審核編輯 ：李倩