近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持用戶在本地部署和使用免費(fèi)的開源大語(yǔ)言模型，無(wú)需聯(lián)網(wǎng)也能使用！

大語(yǔ)言模型（Large Language Model, LLM）是一種人工智能模型，旨在理解和生成人類語(yǔ)言。它們?cè)诖罅康奈谋緮?shù)據(jù)上進(jìn)行訓(xùn)練，可以執(zhí)行廣泛的任務(wù)，包括文本總結(jié)、翻譯、情感分析等等。openEuler通過(guò)集成llama.cpp&chatglm-cpp兩款應(yīng)用，降低了用戶使用大模型的門檻，為Build openEuler with AI, for AI, by AI打下堅(jiān)實(shí)基礎(chǔ)。

openEuler技術(shù)委員會(huì)主席胡欣慰在OSSUMMIT 2023中的演講

應(yīng)用簡(jiǎn)介

1. llama.cpp是基于C/C++實(shí)現(xiàn)的英文大模型接口，支持LLaMa/LLaMa2/Vicuna等開源模型的部署；

2. chatglm-cpp是基于C/C++實(shí)現(xiàn)的中文大模型接口，支持ChatGlm-6B/ChatGlm2-6B/Baichuan-13B等開源模型的部署。

應(yīng)用特性

這兩款應(yīng)用具有以下特性:

1. 基于ggml的C/C++實(shí)現(xiàn)；

2. 通過(guò)int4/int8等多種量化方式，以及優(yōu)化KV緩存和并行計(jì)算等手段實(shí)現(xiàn)高效的CPU推理；

3. 無(wú)需 GPU，可只用 CPU 運(yùn)行。

使用指南

用戶可參照下方的使用指南，在openEuler 23.09版本上進(jìn)行大模型嘗鮮體驗(yàn)。

llama.cpp使用指南如下圖所示：

llama.cpp使用指南

正常啟動(dòng)界面如下圖所示：

LLaMa啟動(dòng)界面

2. chatlm-cpp使用指南如下圖所示：

chatlm-cpp使用指南

正常啟動(dòng)界面如下圖所示：

ChatGLM啟動(dòng)界面

規(guī)格說(shuō)明

這兩款應(yīng)用都可以支持在CPU級(jí)別的機(jī)器上進(jìn)行大模型的部署和推理，但是模型推理速度對(duì)硬件仍有一定的要求，硬件配置過(guò)低可能會(huì)導(dǎo)致推理速度過(guò)慢，降低使用效率。

以下是模型推理速度的測(cè)試數(shù)據(jù)表格，可作為不同機(jī)器配置下推理速度的參考。

表格中Q4_0，Q4_1，Q5_0，Q5_1代表模型的量化精度；ms/token代表模型的推理速度，含義為每個(gè)token推理耗費(fèi)的毫秒數(shù)，該值越小推理速度越快；

表1 LLaMa-7B測(cè)試表格

表2 ChatGLM-6B測(cè)試表格

歡迎用戶下載體驗(yàn)，玩轉(zhuǎn)開源大模型，近距離感受AI帶來(lái)的技術(shù)革新！

感謝LLaMa、ChatGLM等提供開源大模型等相關(guān)技術(shù)，感謝開源項(xiàng)目llama.cpp&chatglm-cpp提供模型輕量化部署等相關(guān)技術(shù)。