近日，RWKV社區在上海漕河涇舉辦了主題為《RWKV-7與未來趨勢》的開發者大會，來自全國各地的開發者、行業專家和技術創新者齊聚一堂，共同交流和探討后Transformer時代的AI新架構和新的發展方向。格靈深瞳算法工程師楊鎧成受邀參會并發表了《RWKV-CLIP:一個魯棒的視覺-語言表征學習器》的主題演講。

據悉，RWKV是國產開源的首個非Transformer架構的大語言模型，結合了RNN和Transformer的相關特性：出色的性能、快速的推理、快速的訓練、節省VRAM、“無限” 的ctxlen和免費的句嵌入，而且100% 不含自注意力機制。

楊鎧成談到，在大模型時代背景下，RWKV架構得益于其在長上下文背景下的高效訓練和推理能力，得到了廣泛的關注。伴隨著RWKV、Mamba等架構的爆火，格靈深瞳第一時間將這類架構應用到圖文表征學習任務中，并構建了RWKV-CLIP模型，在相同的預訓練數據以及預訓練參數設置下，RWKV-CLIP相較于基于Transformer架構的CLIP模型，在線性探測、零樣本分類、零樣本檢索等任務中展示出了顯著的性能提升。相關論文目前已被EMNLP 2024主會錄用，相關訓練代碼、數據均已開源。

作為行業領先的人工智能公司，格靈深瞳高度重視與社區和學術領域的交流合作。近日，格靈深瞳還發布了億級規模的圖文預訓練RealSyn數據集，通過構建一種高效的數據清洗和轉換范式，將圖文交錯文檔轉換為圖文對比學習可高效使用的圖文對數據。目前相關論文與數據集均已開源。