隨著 GPT-4 和 Stable Diffusion 等模型多模態能力的突飛猛進，多模態大模型已經成為大模型邁向通用人工智能（AGI）目標的下一個前沿焦點。總體而言，面向圖像和文本的多模態生成能力可以大致分為兩類：

1. 在圖生文（image-to-text generation）方面，以 GPT-4 為代表的多模態大模型，可以面向圖像進行開放域對話和深度推理；

2. 在文生圖（text-to-image generation）方面，以 Stable Diffusion 為代表的多模態模型，可以根據文本生成圖像內容。由這些多模態模型掀起的 AIGC 浪潮，廣泛而深刻地改變著學術界和工業界的思想實踐。

然而，目前多模態大模型的成功很大程度上局限于英文世界，而中文等其他非英語語言的多模態能力明顯落后。這是因為相比于英文世界，中文等其他非英語語言的多模態數據嚴重稀缺，難以滿足多模態大模型對大規模高質量圖文對數據的需求。這些問題使得多語言多模態大模型的構建極具挑戰性。

為了解決上述挑戰，我們提出使用高資源語言（如英語）作為橋接圖像信號和低資源語言（如中文）的橋梁，實現多語言多模態大模型能力的快速泛化，從而緩解對低資源語言下模態對齊數據（圖文對數據）的依賴。

通過類比人類的學習過程，我們可以直觀地理解該方法：人類學習者可以僅通過母語與視覺信號的對應關系，以及母語與不同語言之間的對應關系，自然地建立起不同語言下對視覺信號的統一認知。這是由于不同的自然語言符號系統，很大程度上都是以描述相同的客觀世界為驅動力演化發展而來的，這為多語言多模態能力的快速泛化提供了基礎。

為了驗證上述方法，我們以中英雙語的多模態大模型為例，構建了 VisCPM 系列模型，建立中英雙語的多模態對話能力（VisCPM-Chat 模型）和文到圖生成能力（VisCPM-Paint 模型）。

在多語言對齊方面，我們選用百億參數量的 CPM-Bee 10B 作為基底語言模型。該模型優秀的中英雙語能力，提供了多語言對齊的基礎。在多模態對齊方面，我們為CPM-Bee分別融合視覺編碼器（Q-Former）和視覺解碼器（Diffusion-UNet）以支持視覺信號的輸入和輸出。得益于 CPM-Bee 基座優秀的雙語能力，VisCPM 可以僅通過英文多模態數據預訓練，泛化實現優秀的中文多模態能力。

中英雙語多模態對話模型VisCPM-Chat

VisCPM-Chat 模型使用 Q-Former 作為視覺編碼器，使用 CPM-Bee（10B）作為語言基座模型，并通過語言建模訓練目標融合視覺和語言模型。模型訓練包括預訓練和指令精調兩階段：

• 預訓練：我們使用約 100M 高質量英文圖文對數據對 VisCPM-Chat 進行了預訓練，數據包括 CC3M、CC12M、COCO、Visual Genome、LAION 等。在預訓練階段，語言模型參數保持固定，僅更新Q-Former部分參數，以支持大規模視覺-語言表示的高效對齊。

• 指令精調：我們采用 LLaVA-150K 英文指令精調數據，并混合相應翻譯后的中文數據對模型進行指令精調，以對齊模型多模態基礎能力和用戶使用意圖。在指令精調階段，我們更新全部模型參數，以提升指令精調數據的利用效率。有趣的是，我們發現即使僅采用英文指令數據進行指令精調，模型也可以理解中文問題，但僅能用英文回答。這表明模型的多語言多模態能力已經得到良好的泛化。在指令精調階段進一步加入少量中文翻譯數據，可以將模型回復語言和用戶問題語言對齊。

我們在 LLaVA 標準英文測試集和翻譯的中文測試集對模型進行了評測，該評測基準考察模型在開放域對話、圖像細節描述、復雜推理方面的表現，并使用 GPT-4 進行打分。可以觀察到，在不使用任何中文圖文對預訓練數據的情況下，VisCPM-Chat 在中文多模態能力方面取得了最佳的平均性能，在通用域對話和復雜推理表現出色，同時也表現出了不錯的英文多模態能力。

在上述平衡的中英雙語能力（VisCPM-Chat-balance）基礎上，我們在預訓練階段額外加入 20M 清洗后的原生中文圖文對數據和 120M 翻譯到中文的圖文對數據，可以實現中文多模態能力的進一步強化（VisCPM-Chat-zhplus）。

VisCPM-Chat 表現出令人印象深刻的圖像理解能力，并能夠在對話中運用世界知識和常識知識。例如在下圖中，VisCPM 能夠識別染色的地圖和人像，并正確理解出染色代表的不同含義。除此之外，VisCPM-Chat 還具有不錯的中文特色能力，比如能用李白的詩描繪黃河的景象并作解讀，在面對中秋月夜時還能用蘇軾的《水調歌頭》借景抒情。

中英雙語文生圖模型VisCPM-Paint

VisCPM-Paint 使用 CPM-Bee（10B）作為文本編碼器，使用 UNet 作為圖像解碼器，并通過擴散模型訓練目標融合語言和視覺模型。在訓練過程中，語言模型參數始終保持固定。我們使用 Stable Diffusion 2.1 的 UNet 參數初始化視覺解碼器，并通過逐步解凍其中關鍵的橋接參數將其與語言模型融合。該模型在 LAION 2B 英文圖文對數據上進行了訓練。

我們在標準圖像生成測試集 MSCOCO 上采樣了 3 萬張圖片，計算了常用評估圖像生成指標 FID（Fréchet Inception Distance）評估生成圖片的質量。與 VisCPM 類似，我們發現得益于 CPM-Bee 的雙語能力，VisCPM-Paint 可以僅通過英文圖文對訓練，泛化實現良好的中文文到圖生成能力，達到中文開源模型的最佳效果。在中英平衡能力（VisCPM-Paint-balance）的基礎上，通過進一步加入 20M 清洗后的原生中文圖文對數據，以及 120M 翻譯到中文的圖文對數據，模型的中文文到圖生成能力可以獲得進一步提升（VisCPM-Paint-zhplus）。

VisCPM-Paint 模型中分別輸入“海上生明月，天涯共此時，唯美風格，抽象風格”和“人閑桂花落，月靜春山空”兩條 prompts，生成了以下兩張圖片。可以看出，VisCPM-Paint 對中國特色意向也有較好的把握能力。

為了推動多模態大模型開源社區和相關研究領域的發展，我們將 VisCPM 系列的所有模型免費開源（https://github.com/OpenBMB/VisCPM），歡迎個人和研究用途自由使用。未來我們也會將 VisCPM 整合到 huggingface代碼框架中，以及陸續完善安全模型、 支持快速網頁部署、 支持模型量化功能、支持模型微調等功能，歡迎持續關注。