近日,在計算機視覺領域最具影響力的國際競賽 CVPR NTIRE 2025中,傳音多媒體團隊與上海交通大學圖像所MediaLab聯合團隊分別斬獲高效超分辨率挑戰賽(NTIRE 2025 Efficient Super-Resolution Challenge)第一名,短視頻UGC圖像超分辨率挑戰賽(NTIRE 2025 Short-form UGC Image Super-Resolution Challenge)第二名,展現了傳音在視頻畫質領域的深厚積累與領先實力。

CVPR NTIRE(New Trends in Image Restoration and Enhancement)是計算機視覺頂會CVPR(Conference on Computer Vision and Pattern Recognition)旗下極具影響力的國際學術競賽,素有“影像算法奧林匹克”之稱。該賽事聚焦視頻復原、圖像增強、生成技術及質量評估等底層視覺任務,旨在推動技術突破并解決實際應用難題。今年的賽事設置了多項挑戰賽,吸引了全球頂尖科研與產業隊伍參與。

傳音深耕非洲、南亞等新興市場多年,始終圍繞用戶需求進行本地化創新。近年來數字媒體飛速發展,傳音洞察到用戶對智能手機圖像和視頻素質提出了更高的要求。據Dataspark的數據顯示,2024年非洲用戶月均在社交、視頻類App上花費約52小時,然而非洲用戶觀看視頻在線播放網速平均不到10M/S,觀看體驗較差。面對非洲等目標市場存在的網速慢、流量貴等現實問題,傳音持續投入資源,與上海交通大學圖像所MediaLab深入合作,研發輕量化、低功耗、高性能的畫質增強技術,讓更多用戶在有限條件下也能享受高清視覺體驗。

技術成果一:高效圖像超分辨率中的蒸餾監督下的卷積低秩適應

在高效超分辨率挑戰賽中,傳音多媒體團隊和上海交通大學圖像所MediaLab提交的論文“高效圖像超分辨率中的蒸餾監督下的卷積低秩適應(Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution)”提出DSCLoRA技術,其借鑒大語言模型中的低秩適應并結合知識蒸餾策略,在不增加計算成本的前提下顯著提升了高效超分辨率模型的性能。

多個基準數據集上的實驗結果表明DSCLoRA在模型復雜度和性能表現之間實現了出色的均衡。在不增加模型體積和計算開銷的前提下,DSCLoRA能夠大幅提升圖像超分辨率效果,提升弱網環境下視頻通話與流媒體播放清晰度,同時具備推理速度快、功耗低等優點。通過將該算法集成至手機影像引擎,用戶在在線視頻播放、視頻通話、圖像放大、數碼變焦拍攝等場景中,均可體驗更高分辨率、更銳利自然的畫面。

模型架構總覽

技術成果二:用于短視頻UGC圖像超分辨率的增強語義提取與引導

在短視頻UGC圖像超分辨率挑戰賽中,傳音多媒體團隊和上海交通大學圖像所MediaLab提交的論文“用于UGC圖像超分辨率的增強語義提取與引導(Enhanced Semantic Extraction and Guidance for UGC Image Super Resolution)”,提出一種基于 Diffusion 的新型模型以處理短視頻平臺 UGC 場景下低分辨率退化圖片,有助于實現更穩健、感知可信和實際適用的圖像修復。

該模型通過制作特定數據集,消除現實 UGC 場景下圖片退化類型和合成退化之間存在的差異。其次,通過引入語義提取模塊,利用 SAM2 預訓練模型提取高層次的上下文信息,協助模型進行圖像重建任務。最后,針對不同的數據集進行參數微調,使模型在不同數據集上表現達到最優。

該項技術突破,將有效處理模糊、壓縮、結構變形等常見失真問題,生成更自然、真實、語義一致的修復圖像,極大提升用戶在短視頻截圖、社交圖片增強等場景中的視覺體驗。

模型架構總覽

此次聯合高校團隊參加國際頂級競賽體現傳音對核心技術創新的重視與投入,也為后續畫質增強功能的產品化奠定堅實基礎。未來,傳音將加速將畫質增強技術部署到旗下手機產品中,構建起一套適應新興市場特色、兼顧性能與體驗的視頻增強解決方案,為更多新興市場用戶帶來更為高清、流暢的視覺體驗。