據了解，1997年，兩位科學家Sepp Hochreiter和Jürgen Schmidhuber共同創建了長短期記憶（LSTM）神經網絡結構，用于改善循環神經網絡（RNN）的長期記憶功能。

近期，Hochreiter在arXiv平臺發表論文，推出了一款新型的XLSTM（擴展LSTM）架構，有效克服了傳統LSTM互聯網結構“僅能按時間順序處理信息”的局限性，有望挑戰當前熱門的Transformer架構。

該論文指出，Hochreiter在新的XLSTM架構中運用了指數型門控循環網絡，并引入了“sLSTM”和“mLSTM”兩種記憶規則，使神經網絡能夠更高效地利用RAM，實現類似于Transformer的并行化處理。

研究團隊通過對基于XLSTM和Transformer架構的兩款模型進行150億個Token的訓練和測試，結果顯示，XLSTM表現更為出色，特別是在“語言能力”方面表現尤為突出。因此，研究人員預測，未來XLSTM有可能與Transformer展開競爭。