近日，RWKV社區(qū)在上海漕河涇舉辦了主題為《RWKV-7與未來(lái)趨勢(shì)》的開(kāi)發(fā)者大會(huì)，來(lái)自全國(guó)各地的開(kāi)發(fā)者、行業(yè)專(zhuān)家和技術(shù)創(chuàng)新者齊聚一堂，共同交流和探討后Transformer時(shí)代的AI新架構(gòu)和新的發(fā)展方向。格靈深瞳算法工程師楊鎧成受邀參會(huì)并發(fā)表了《RWKV-CLIP:一個(gè)魯棒的視覺(jué)-語(yǔ)言表征學(xué)習(xí)器》的主題演講。

據(jù)悉，RWKV是國(guó)產(chǎn)開(kāi)源的首個(gè)非Transformer架構(gòu)的大語(yǔ)言模型，結(jié)合了RNN和Transformer的相關(guān)特性：出色的性能、快速的推理、快速的訓(xùn)練、節(jié)省VRAM、“無(wú)限” 的ctxlen和免費(fèi)的句嵌入，而且100% 不含自注意力機(jī)制。

楊鎧成談到，在大模型時(shí)代背景下，RWKV架構(gòu)得益于其在長(zhǎng)上下文背景下的高效訓(xùn)練和推理能力，得到了廣泛的關(guān)注。伴隨著RWKV、Mamba等架構(gòu)的爆火，格靈深瞳第一時(shí)間將這類(lèi)架構(gòu)應(yīng)用到圖文表征學(xué)習(xí)任務(wù)中，并構(gòu)建了RWKV-CLIP模型，在相同的預(yù)訓(xùn)練數(shù)據(jù)以及預(yù)訓(xùn)練參數(shù)設(shè)置下，RWKV-CLIP相較于基于Transformer架構(gòu)的CLIP模型，在線性探測(cè)、零樣本分類(lèi)、零樣本檢索等任務(wù)中展示出了顯著的性能提升。相關(guān)論文目前已被EMNLP 2024主會(huì)錄用，相關(guān)訓(xùn)練代碼、數(shù)據(jù)均已開(kāi)源。

作為行業(yè)領(lǐng)先的人工智能公司，格靈深瞳高度重視與社區(qū)和學(xué)術(shù)領(lǐng)域的交流合作。近日，格靈深瞳還發(fā)布了億級(jí)規(guī)模的圖文預(yù)訓(xùn)練RealSyn數(shù)據(jù)集，通過(guò)構(gòu)建一種高效的數(shù)據(jù)清洗和轉(zhuǎn)換范式，將圖文交錯(cuò)文檔轉(zhuǎn)換為圖文對(duì)比學(xué)習(xí)可高效使用的圖文對(duì)數(shù)據(jù)。目前相關(guān)論文與數(shù)據(jù)集均已開(kāi)源。