近日，Meta推出了Llama 2，這是一個新的大型語言模型，參數(shù)高達(dá)700億。新的生成型人工智能系統(tǒng)代表了OpenAI的變化，但是幾乎沒有分享包括GPT-3/3.5和GPT-4在內(nèi)的大多數(shù)人工智能模型的細(xì)節(jié)。根據(jù)維基百科的數(shù)據(jù)，Llama 2的發(fā)布包含了ChatGPT 3.5的40%的參數(shù)，其中包括與微軟的重要合作。Redmond也不僅僅是一個名義上的合作伙伴，他最近宣布支持Azure和Windows中的Llama 2。與此同時，高通公司現(xiàn)在表示，它將與Llama 2一起加入LLM競爭，并公布了將Llama 2帶入智能手機中的計劃。

Meta方面在微軟的Inspire合作伙伴大會上宣布，將與包括微軟在內(nèi)的主要云計算服務(wù)提供商合作，推出新一代開源大模型Llama 2，并將該模型免費開放給商業(yè)和研究機構(gòu)使用。

這樣的發(fā)展意味著，無論來源如何，開源人工智能模型的能力和覆蓋范圍都將大幅擴(kuò)大。

Llama 2: Fine-tuned and Ready to Chat

Perplexity.ai提供了一個令人印象深刻的多個Llama 2模型的免費在線演示。它的結(jié)果與包括ChatGPT和谷歌Bard在內(nèi)的當(dāng)今頂級聊天機器人具有競爭力。Llama 2快速生成干凈、自然的文本，盡管不太可能非常出彩，但易于閱讀和理解。Llama 2還可以生成通常理解的事實、生成代碼和求解數(shù)學(xué)方程。

與所有LLM一樣，Llama 2偶爾會產(chǎn)生不正確或不可用的答案，但Meta介紹Llama的論文聲稱，它在學(xué)術(shù)基準(zhǔn)方面與OpenAI的GPT 3.5不相上下，如MMLU（衡量LLM在57門STEM科目中的知識）和GSM8K（衡量LLM對數(shù)學(xué)的理解）。

Meta的研究人員部分是通過純粹的模型大小實現(xiàn)的 —— 但這只是故事的一半。根據(jù)Meta的論文，Llama 2使用了有監(jiān)督的微調(diào)、帶有人類反饋的強化學(xué)習(xí)和一種名為Ghost Attention（GAtt）的新技術(shù)，該技術(shù)“能夠在多個回合中進(jìn)行對話控制”。更簡單地說，GAtt幫助Llama在被要求在特定約束下工作時產(chǎn)生所需的結(jié)果，就像被要求“扮演”歷史人物時可能發(fā)生的那樣，或者在諸如架構(gòu)之類的特定主題的上下文中產(chǎn)生響應(yīng)。

META

這些技術(shù)有助于Llama 2提供各種型號，相對于其尺寸，具有可靠的基準(zhǔn)性能。最大的模型Llama 2 70B（有700億個參數(shù)）在所有基準(zhǔn)測試中表現(xiàn)最好，但Meta也提供Llama 27 B和Llama 13 B。

參數(shù)較少的變體性能不如Llama 2 70B，但它們足夠緊湊，可以在功能較弱的設(shè)備（如智能手機）上本地運行。領(lǐng)先的智能手機片上系統(tǒng)（SoC）生產(chǎn)商高通公司宣布與Meta合作，“從2024年開始”讓Llama 2在高通公司支持的智能手機上本地運行”。

高通公司營銷傳播專家Rodrigo Caruso Neves do Amaral表示：“我們能夠使用我們的軟件工具來編譯和優(yōu)化模型，特別是在我們的Hexagon處理器上運行。無論是對運行這些型號的公司，還是對有時必須為訪問這些應(yīng)用程序付費的消費者，在設(shè)備上運行所節(jié)省的能量都會產(chǎn)生巨大影響?！?/p>

Open Source Fits Where Closed Models Can’t

在智能手機上離線運行大型語言模型是封閉的人工智能模型（如OpenAI的GPT 3.5和谷歌的PaLM2）無法處理的。這不一定是由于技術(shù)限制（據(jù)推測，OpenAI和谷歌可以提供一種適合智能手機的模型），而是哲學(xué)上的分歧。OpenAI和谷歌提供LLM作為API。訪問API需要互聯(lián)網(wǎng)連接，客戶將根據(jù)使用情況收費。

相比之下，Llama 2的發(fā)布表示允許無限、免費的商業(yè)和學(xué)術(shù)使用。該許可并不符合開源計劃制定的所有標(biāo)準(zhǔn)，因為該許可包括一項條款，要求允許將Llama 2用于“月活躍用戶超過7億”的“產(chǎn)品或服務(wù)”。然而，該條款僅適用于Meta最大的競爭對手，如OpenAI和谷歌。Meta的Llama 2模型已經(jīng)出現(xiàn)在HuggingFace的Open LLM排行榜上，截至7月24日星期一收盤，“Llama-2-70b-chat-hf”的延遲和吞吐量基準(zhǔn)排名第三。（截至發(fā)稿時，目前的頂級模型Stability AI的FreeWilly2實際上已經(jīng)基于Llama 2，但FreeWilly22使用不同的數(shù)據(jù)集對模型進(jìn)行了微調(diào)。）

Srinivas認(rèn)為Llama 2的開源許可證是一個力量倍增器，為開發(fā)者和研究人員提供了一個根據(jù)他們的特定需求調(diào)整模型的機會?！耙粋€人可以啟動Llama 2的分支，專注于量化，另一個人可以開啟另一個Llama的分支關(guān)注于低階微調(diào)，……其他人則可以將更大的模型提煉成更小的模型，從而加速進(jìn)展?！?/p>

事實證明，這對瞄準(zhǔn)邊緣設(shè)備（如智能手機）的開發(fā)人員來說尤其重要?？紤]到型號的大小，Llama 2 70B表現(xiàn)出色并不令人驚訝。但Llama 2的較小型號相對于其型號大小也排名良好。在Open LLM排行榜上，大多數(shù)表現(xiàn)優(yōu)于Llama 2的小型模型本身都是基于Meta之前的模型Llama。這表明，隨著開源社區(qū)的開發(fā)人員將他們的才能應(yīng)用到Llama 2中，Llama 2將在排行榜上名列前茅。

Srinivas說：“我認(rèn)為Llama 2 7B和Llama 2 13B已經(jīng)很令人興奮了……這只是一個開始。Meta推出了它，現(xiàn)在人們可以改進(jìn)它?？梢詷?gòu)建其他框架和其他工程層，這賦予了每個人更多的權(quán)力?！?/p>