前天，智算領(lǐng)域迎來一則令人振奮的消息：Meta 正式發(fā)布了備受期待的開源大模型——Llama 3。

Llama 3 的卓越性能

Meta 表示，Llama 3 在多個(gè)關(guān)鍵基準(zhǔn)測(cè)試中展現(xiàn)出卓越性能，超越了業(yè)內(nèi)先進(jìn)的同類模型。無論是在代碼生成、復(fù)雜推理，還是在遵循指令和可視化想法方面，Llama 3 都實(shí)現(xiàn)了全面領(lǐng)先。該模型在以下五個(gè)基準(zhǔn)測(cè)試中均表現(xiàn)出色：

MMLU（學(xué)科知識(shí)理解）

GPQA（一般問題解答）

HumanEval（代碼能力）

GSM-8K（數(shù)學(xué)能力）

MATH（高難度數(shù)學(xué)問題）

無論是 8B 規(guī)格的 Llama3 還是 70B 規(guī)格，它們都較市場(chǎng)上其他優(yōu)秀大模型表現(xiàn)更佳。

縱向?qū)Ρ蕊@示，Llama 3 的性能大幅領(lǐng)先于前代產(chǎn)品 Llama 2，尤其是在 8B 規(guī)格上，遠(yuǎn)超過 Llama 2 時(shí)代的 13B 和 70B 規(guī)格；新的 70B 規(guī)格更是展現(xiàn)出與 GPT-4 早期版本相媲美的能力。

指令調(diào)優(yōu)模型

瑞莎 Airbox 快速支持 Llama 3

面對(duì) Llama 3 如此激動(dòng)人心的性能，Airbox 團(tuán)隊(duì)積極響應(yīng)，快速將 Llama 8B 移植并成功在 Airbox 上運(yùn)行。以下視頻展示了 Llama 8B 在 Airbox 上的運(yùn)行情況：

(注：Llama 3 8B 知識(shí)更新到 2023 年 3 月)

可以看到，Llama 3 8B 在 Airbox 上的運(yùn)行表現(xiàn)極為流暢，達(dá)到了 9.6 token/s 的處理速度，已充分展現(xiàn)出其實(shí)用價(jià)值。與其他應(yīng)用結(jié)合使用時(shí)，更開辟了廣闊的應(yīng)用前景和創(chuàng)新可能性。Airbox 團(tuán)隊(duì)后續(xù)會(huì)對(duì) Llama 3 8B 做更多測(cè)試并公布結(jié)果。

關(guān)于瑞莎 Fogwise Airbox

瑞莎智算盒子 Fogwise Airbox 是一款面向側(cè)端生成式智算的邊緣計(jì)算微型服務(wù)器，基于算能最新專為生成式智算打造的 SG2300X 處理器設(shè)計(jì)，具有開箱即用，本地離線部署，注重?cái)?shù)據(jù)隱私，多精度支持，高能效比，高性價(jià)比，系統(tǒng)/文檔/工具鏈開源等特點(diǎn)，是當(dāng)前為數(shù)不多甚至是唯一的低成本在邊緣側(cè)部署生成式智算的方案。

瑞莎 Fogwise Airbox 現(xiàn)已準(zhǔn)備就緒，即將在近期發(fā)售，敬請(qǐng)期待。