阿里AI大模型“通義千問”于 2023 阿里云峰會(huì)重磅發(fā)布。基礎(chǔ)大模型的核心是能夠支撐各行各業(yè)，阿里希望能夠?yàn)榭蛻襞c合作伙伴提供面向千行百業(yè)的專屬大模型。 從 M6 項(xiàng)目到“通義千問”的發(fā)展之路。阿里 AI 大模型“通義千問”前身系阿里達(dá)摩院 M6 項(xiàng)目，阿里達(dá)摩院于 2020 年 6 月發(fā)布 3 億參數(shù)基礎(chǔ)模型，21 年 1 月模型參數(shù)規(guī)模達(dá)百億，同年 5 月達(dá)萬億參數(shù)，同年 10月達(dá) 10 萬億，成為全球首個(gè) 10 萬億參數(shù)多模態(tài)大模型，并落地應(yīng)用于天貓?zhí)摂M主播等 40 多個(gè)細(xì)分場景。22年 9 月達(dá)摩院發(fā)布“通義”大模型系列，打造業(yè)界首個(gè) AI 底座，且兼顧大小模型的層次化建構(gòu)體系。

1 阿里大模型的迭代進(jìn)階之路

項(xiàng)目啟動(dòng)階段：M6 項(xiàng)目于 2020 年啟動(dòng)，同年 6 月推出 3 億參數(shù)的基礎(chǔ)模型，2021年 1 月，模型參數(shù)規(guī)模達(dá)百億，成為世界最大的中文多模態(tài)模型。

萬億模型階段：2021 年 5 月，達(dá)摩院發(fā)布萬億參數(shù)模型 M6 并正式投入使用，追上谷歌發(fā)展腳步。M6 在多模態(tài) GreenAI、文到圖生成、商業(yè)化領(lǐng)域并肩世界一流水平，與英偉達(dá)、谷歌相比，M6 僅用 480 卡 V100 32G GPU 就實(shí)現(xiàn)了萬億模型，節(jié)省算力資源超 80%，訓(xùn)練效率提升近 11 倍。

十萬億模型階段：2021 年 10 月，M6 進(jìn)一步升級成為全球首個(gè) 10 萬億參數(shù)的多模態(tài)大模型，并應(yīng)用于天貓?zhí)摂M主播等 40 多個(gè)創(chuàng)造相關(guān)場景中；在綠色低碳方面，相比 GPT-3，M6 實(shí)現(xiàn)了同等參數(shù)規(guī)模下，能耗僅為 1%。

大模型階段：2022 年 9 月，達(dá)摩院發(fā)布“通義”大模型系列，打造業(yè)界首個(gè) AI 統(tǒng)一底座，并構(gòu)建了大小模型協(xié)同的層次化人工智能體系，其中，統(tǒng)一底座 M6-OFA 模型在不引入新增結(jié)構(gòu)情況下，可同時(shí)處理 10 余項(xiàng)單模態(tài)和跨模態(tài)任務(wù)，通義大模型的出現(xiàn)將為 AI 從感知智能邁向知識(shí)驅(qū)動(dòng)的認(rèn)知智能提供先進(jìn)基礎(chǔ)設(shè)施。

2 阿里達(dá)摩院年度科技趨勢：阿里對 AI 大模型高度重視 達(dá)摩院每年都會(huì)發(fā)布對當(dāng)年的十大科技趨勢預(yù)測，在最近兩年的科技趨勢預(yù)測中，充分體現(xiàn)阿里對 AI 技術(shù)及大模型的重視：

2022 年，達(dá)摩院在十大科技趨勢中提到多項(xiàng) AI 相關(guān)內(nèi)容，包括 AI for Science（將AI 應(yīng)用于高技術(shù)領(lǐng)域科學(xué)研究）、大小模型協(xié)同進(jìn)化、綠色能源 AI（基于 AI 算力對資源消耗嚴(yán)重的現(xiàn)實(shí)，從降本增效角度提出了綠色能源 AI 新概念）等。

2023 年，達(dá)摩院在十大科技趨勢中，將多模態(tài)預(yù)訓(xùn)練大模型放在首位，足以顯現(xiàn)其對大模型的重視。CLIP 和 BEiT-3 等多模態(tài)模型實(shí)現(xiàn)技術(shù)突破，多模態(tài)融合的通用人工智能成為未來發(fā)展趨勢。多模態(tài)預(yù)訓(xùn)練的發(fā)展將重塑人工智能商業(yè)模式。多模態(tài)統(tǒng)一建模，目的增強(qiáng)模型的跨模態(tài)語義對齊能力，打通各模態(tài)之間的關(guān)系，促使模型逐步標(biāo)準(zhǔn)化。基于多領(lǐng)域知識(shí)，構(gòu)建統(tǒng)一的、跨場景、多任務(wù)的多模態(tài)基礎(chǔ)模型將成為未來人工智能的重點(diǎn)發(fā)展方向。

通用模型層主要包含通義-M6、通義-AliceMind、通義-視覺三種通用模型。1）通義-M6 是國際首個(gè)參數(shù)規(guī)模達(dá)到 10 萬億的全球最大預(yù)訓(xùn)練模型。2）通義-AliceMind作為開源深度語言模型體系，形成了從文本 PLUG 到多模態(tài) mPLUG 再到模塊化統(tǒng)一模型演化趨勢。3）通義-視覺可在電商行業(yè)實(shí)現(xiàn)圖像搜索和萬物識(shí)別等場景應(yīng)用，并在文生圖以及交通和自動(dòng)駕駛領(lǐng)域發(fā)揮作用。

3 統(tǒng)一技術(shù)底座-三位一體：M6-OFA 為通義大模型底座，實(shí)現(xiàn)架構(gòu)、模態(tài)、任務(wù)三方面統(tǒng)一 通義大模型在國內(nèi)率先構(gòu)建 AI 統(tǒng)一底座，在業(yè)界首次實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)的統(tǒng)一，統(tǒng)一學(xué)習(xí)范式 OFA 是通義大模型背后的核心技術(shù)支撐。 架構(gòu)統(tǒng)一：M6-OFA 采用了 Transformer Encoder-Decoder + ResNet Blocks 架構(gòu)，ResNet Blocks 用于提取圖像特征，Transformer Encoder 負(fù)責(zé)多模態(tài)特征的交互，Transformer Decoder 采用自回歸方式輸出結(jié)果。無需增加任何任務(wù)特定的模型層，即可實(shí)現(xiàn)預(yù)訓(xùn)練與微調(diào)的相同學(xué)習(xí)模式。 模態(tài)統(tǒng)一：M6-OFA 構(gòu)建了一個(gè)涵蓋不同模態(tài)的通用詞表，以便模型使用該詞表表示不同任務(wù)的輸出結(jié)果。其中 BPE 編碼的自然語言 token 用于表示文本類任務(wù)或圖文類任務(wù)的數(shù)據(jù)；圖片中連續(xù)的橫縱坐標(biāo)編碼為離散化 token，用于表示視覺定位、物體檢測的數(shù)據(jù)；圖片中的像素點(diǎn)信息編碼為離散化 token，用于表示圖片生成、圖片補(bǔ)全等任務(wù)的數(shù)據(jù)。 任務(wù)統(tǒng)一：通過設(shè)計(jì)不同的 instruction，M6-OFA 將涉及多模態(tài)和單模態(tài)（即 NLP 和CV）的所有任務(wù)都統(tǒng)一建模成序列到序列（seq2seq）任務(wù)。M6-OFA 覆蓋了 5 項(xiàng)多模態(tài)任務(wù)，視覺定位、定位字幕、圖文匹配、圖像字幕和視覺問答；2 項(xiàng)視覺任務(wù)，檢測和圖像填補(bǔ)和 1 項(xiàng)文本任務(wù)，即文本填補(bǔ)。

4 通用模型層-通義視覺大模型 通義-視覺大模型自下往上分為了底層統(tǒng)一算法架構(gòu)、中層通用算法和上層產(chǎn)業(yè)應(yīng)用。在應(yīng)用層面，通義-視覺大模型可以在電商行業(yè)實(shí)現(xiàn)圖像搜索和萬物識(shí)別等場景應(yīng)用，并在文生圖以及交通和自動(dòng)駕駛領(lǐng)域發(fā)揮作用。

阿里大模型賦能天貓精靈有望承擔(dān)智能家居生態(tài)入口角色。結(jié)合真格基金 7 項(xiàng)針對大模型的測試題與答復(fù)，阿里大模型天貓精靈壓縮版的成績?yōu)?4.5/2.5，表現(xiàn)優(yōu)于文心一言（1/6）和 GPT3.5（4/3），遜于 GPT4.0（7/0）。可見在簡單的邏輯推理和垂直能力領(lǐng)域，阿里大模型壓縮版已初步具備與 ChatGPT 與文心一言一較高下的實(shí)力。

通義千問賦能天貓精靈有望成為智能居家生態(tài)入口的不二選擇。阿里大模型通義千問有望賦能旗下智能音箱天貓精靈打造居家場景智能生態(tài)入口，與螢石網(wǎng)絡(luò)等智能家居廠商優(yōu)勢互補(bǔ)，通過“人機(jī)自然交互、信息上傳云端，聯(lián)動(dòng)控制反饋”的機(jī)制，開展智能家居生態(tài)共建。

阿里大模型“通義千問”有望基于其升級版天貓精靈（智能居家入口）、淘寶（智能電商入口）、釘釘（智能辦公入口）、高德地圖（智能汽車入口）等，協(xié)同合作廠商共建阿里系生態(tài)，借助多項(xiàng)生態(tài)入口打造覆蓋“衣食住行工”的全域智能生態(tài)場景。目前，發(fā)布會(huì)已披露三大場景：智能居家：通義千問×智能家居（天貓精靈等），有望成為具備個(gè)性化故事生成、個(gè)性化歌單推薦、個(gè)性化菜譜生成等功能的智能生活助理。

審核編輯 ：李倩