ChatGPT與其之后不斷涌現(xiàn)的大語言模型（LLM）迅速席卷了整個(gè)時(shí)代。隨著計(jì)算機(jī)對(duì)人類自然語言的領(lǐng)悟程度突飛猛進(jìn)，我們與計(jì)算機(jī)的交互方式正在迅速而深刻地改變著，這也即將帶來一場既廣泛又具有極強(qiáng)創(chuàng)新性的商業(yè)模式轉(zhuǎn)型。

嘉楠科技（Canaan）是一家領(lǐng)先的ASIC芯片設(shè)計(jì)公司，也是第一家在美上市的中國自主知識(shí)產(chǎn)權(quán)AI芯片公司。嘉楠科技希望通過ASIC技術(shù)“提升社會(huì)運(yùn)行效率，改善人類生活方式”，并成為區(qū)塊鏈和AI高性能計(jì)算的領(lǐng)導(dǎo)者。

2023年6月30日，嘉楠科技正式發(fā)布參數(shù)量70億的通用大語言模型Toucan-7B及INT4量化版本的Toucan-7B-4bit。其中，Toucan-7B基于LLaMA預(yù)訓(xùn)練權(quán)重進(jìn)行指令微調(diào)，能夠?qū)崿F(xiàn)文案寫作、代碼解析、信息抽取等各種通用自然語言處理任務(wù)。Toucan-7B-4bit基于當(dāng)前最新量化技術(shù)對(duì)Toucan-7B實(shí)現(xiàn)極低損失的INT4量化。此外，Toucan-7B是基于GTX-3090單卡GPU實(shí)現(xiàn)所有的實(shí)驗(yàn)流程，是真正方便每位開發(fā)者所使用的通用LLM模型。

Toucan模型精度

評(píng)估大語言模型的效果本身就是一個(gè)復(fù)雜的課題。目前還沒有公認(rèn)的、嚴(yán)格的科學(xué)評(píng)估標(biāo)準(zhǔn)。

Toucan采用開源的專業(yè)中文測試集BELLE進(jìn)行效果評(píng)估,涵蓋數(shù)學(xué)推理、代碼解析、文本分類等多個(gè)維度。ChatGPT的表現(xiàn)作為參考基準(zhǔn)。通過人工評(píng)估ChatGPT的表現(xiàn),可以直觀地判斷不同模型的優(yōu)劣。

ChatGLM(清華開源LLM模型)是國內(nèi)首批開源的通用大語言模型，也是最優(yōu)秀的中文大語言模型之一。因此，在Toucan的評(píng)估過程中,我們將主要以ChatGLM的表現(xiàn)作為參考，來衡量不同模型的效果，從而給出一個(gè)相對(duì)公正的評(píng)估結(jié)果。

如上表所示，Toucan-7B的效果略微優(yōu)于ChatGLM-6B，并且Toucan-7B-4bit模型的效果也能夠達(dá)到與ChatGLM-6B持平的水準(zhǔn)。此外，我們可以發(fā)現(xiàn)：Toucan的強(qiáng)項(xiàng)是code任務(wù)與re-write任務(wù)，并且rewrite能力評(píng)分甚至超過ChatGPT。

上述對(duì)比驗(yàn)證了Toucan在多個(gè)維度上展現(xiàn)出色的語言理解與生成能力，這說明Toucan作為通用語言模型,具有較強(qiáng)的應(yīng)用潛力。當(dāng)然,大語言模型之間的對(duì)比評(píng)估是一個(gè)復(fù)雜的過程,不存在一個(gè)模型在所有方面都占絕對(duì)優(yōu)勢(shì)。我們會(huì)繼續(xù)致力于完善評(píng)估方案,以更全面地判斷模型的優(yōu)劣。

Toucan模型INT4量化

如上節(jié)所述，Toucan-7B-4bit模型基于當(dāng)前最前沿的INT4量化技術(shù)，實(shí)現(xiàn)了對(duì)Toucan-7B模型的近乎無損量化。本節(jié)對(duì)Toucan-7B-4bit模型中所使用的INT4量化技術(shù)進(jìn)行簡單介紹。

Toucan-7B-4bit模型中使用了GPTQ和VS-Quant兩種IN4量化技術(shù)。GPTQ是一種one-shot PTQ 方法。不同于之前使用統(tǒng)計(jì)手段（如 kl-divergence）獲得最小/最大值量化參數(shù)，GPTQ 先計(jì)算權(quán)重的Hessian 矩陣，再結(jié)合此矩陣和局部量化結(jié)果，逐步迭代權(quán)重。在物理意義上，Hessian 矩陣對(duì)角線數(shù)值，表示多元函數(shù)沿坐標(biāo)軸方向的曲率。因此相對(duì)于統(tǒng)計(jì)量化方法，GPTQ 更具有說服力。VS-Quant技術(shù)使用更細(xì)粒度的縮放因子，為每個(gè)小向量(16-64個(gè)元素)使用一個(gè)獨(dú)立的縮放因子，這可以提高每個(gè)元素的有效精度。并通過兩級(jí)量化和訓(xùn)練,可以用低比特寬的整數(shù)來表示這些向量縮放因子。

這里4bit量化技術(shù)主要用于減小模型尺寸，降低顯存容量和帶寬占用，計(jì)算時(shí)需要反量化成fp16再進(jìn)行計(jì)算。LLM推理，通常都是帶寬和顯存容量受限，計(jì)算并不是問題。

我們將Toucan-7B-4bit模型和Toucan-7B-fp16模型的實(shí)測顯存占用量進(jìn)行了對(duì)比：

通過上表對(duì)比可以發(fā)現(xiàn)：在初始階段，Toucan-7B-fp16模型的顯存占用量為13.3GB，而Toucan-7B-int4模型的顯存占用量僅為5.7GB；隨著模型迭代推理的逐步進(jìn)行，當(dāng)Token長度達(dá)到1024時(shí)，Toucan-7B-fp16模型的顯存占用量上至14.7GB，而Toucan-7B-int4模型的顯存占用量仍維持在6.7GB；當(dāng)達(dá)到模型支持的最大輸入長度2048時(shí)，Toucan-7B-fp16模型的顯存占用量達(dá)到了17.3GB，而Toucan-7B-int4模型的顯存占用量僅為8.1GB。

Toucan-7B-int4模型可以在低顯存占用的情況下大語言模型推理，這對(duì)采用消費(fèi)級(jí)顯卡的用戶更為友好。在Toucan開源倉庫中，嘉楠科技開源了Toucan-7B-4bit模型的量化參數(shù)生成代碼以及量化模型推理代碼，感興趣的開發(fā)者可進(jìn)行詳細(xì)閱讀相關(guān)內(nèi)容。

Toucan單顯卡訓(xùn)練

Toucan詳細(xì)技術(shù)文檔及代碼見該開源倉庫如下：

https://github.com/kendryte/Toucan-LLM:

如上圖所示，為Toucan開源倉庫的目錄結(jié)構(gòu)。在Toucan開源倉庫中，更新了全參數(shù)微調(diào)訓(xùn)練代碼、基于Gradio的推理代碼、INT4量化代碼，以及模型合并代碼。微調(diào)后的浮點(diǎn)模型也有開源，可下載合并后使用。

啟動(dòng)訓(xùn)練：bash train/run.sh

推理：pythonscripts/demo.py

模型權(quán)重合并：

pythonscripts/apply_delta.py--base/path_to_llama/llama-7b-hf--target./save_path/toucan-7b--delta/path_to_delta/toucan-7b-delta/

Toucan模型能力展示

因?yàn)槠蓿覀冊(cè)谶@里僅展示Toucan的部分能力。感興趣的讀者可以去Github-Toucan-LLM了解更多。

（1）自我介紹

（2）寫作助手

（3）信息抽取

（4）代碼解析

加入我們

我們相信開源對(duì)技術(shù)進(jìn)步具有重要意義,也希望Toucan能為推進(jìn)開源大語言模型貢獻(xiàn)一份力量。我們歡迎和鼓勵(lì)開發(fā)者在Toucan代碼庫的基礎(chǔ)上進(jìn)行創(chuàng)造,無論是模型效果的提升還是應(yīng)用場景的拓展。

在LLM時(shí)代,我們?nèi)蕴幵诩夹g(shù)快速進(jìn)步的早期階段。加入開源力量。在開放、協(xié)作的開源社區(qū)中,每一份貢獻(xiàn)都將變成技術(shù)進(jìn)步的階梯。

我們期待您的加入,與我們一同推動(dòng)LLM和其他前沿技術(shù)的開源之旅!

審核編輯：湯梓紅