今天，真格基金高興地宣布向開源 AI 項目 vLLM 提供捐贈。

開源技術(shù)處于 AI 革命的中心。Llama 3、Mistral 等開源大模型迅速追趕 GPT-4，TensorFlow、Pytorch 等開源深度學(xué)習(xí)框架提供了豐富的庫和工具。GitHub 上有 6 萬個通用人工智能項目，Hugging Face 上有超過 40 萬個模型。每一周，有超過 100 萬行代碼在開源 AI 領(lǐng)域中創(chuàng)建，開發(fā)者像交換禮物一樣，從全世界的各個角落為開源項目作出貢獻(xiàn)。

2022 年，一個加州大學(xué)伯克利分校的 3 人團(tuán)隊從一個加速 OPT-175B 訓(xùn)練推理的 demo 項目開始，在兩年的時間里搭建出了全球范圍內(nèi)最受歡迎的開源大模型推理加速框架 vLLM。

vLLM(https://github.com/vllm-project/vllm)的目標(biāo)是，搭建最快速、最易用的開源 LLM 推理服務(wù)引擎(Build the fastest and easiest-to-use open-source LLM inference & serving engine)。

與 Hugging Face Transformers 相比，它提供高達(dá) 24 倍的吞吐量，而無需進(jìn)行任何模型架構(gòu)更改。今天，vLLM 在 GitHub 上的星標(biāo)數(shù)已經(jīng)突破 21.8k，而距離去年 6 月開源以來只過去了一年。

vLLM 支持幾乎所有最新的開源 LLM，包括 Mistral，Llama，Gemma 等 30+ 大模型。一個新的開源大模型，幾乎都會在發(fā)布前主動接觸 vLLM 做好適配優(yōu)化，確保在上線的第一天，大家就能通過 vLLM 來使用它。

vLLM 不執(zhí)著于英偉達(dá) GPU。與其它框架相比，這也是 vLLM 一個很大的不同點——支持包括 AMD GPU，Intel CPU/GPU/Habana Gaudi，Google TPU，AWS 在內(nèi)市面上最全的硬件架構(gòu)。從項目創(chuàng)立起，vLLM 就希望能廣泛支持能夠使得推理更快、成本更低也更適用的硬件。

在 ChatGPT 上線、Facebook 成為 Meta 之前，vLLM 誕生于一個名為「Alpa」的自動化并行推理 demo 項目。但在部署過程中，vLLM 團(tuán)隊發(fā)現(xiàn) demo 的速度很慢，GPU 利用率也非常低。這讓他們意識到，大語言模型推理本身就是一個非常值得關(guān)注的問題。

當(dāng)時的市面上沒有任何大語言模型推理優(yōu)化的開源系統(tǒng)。于是，團(tuán)隊決定從 0 開始自己動手做一個。面對 GPU 的內(nèi)存管理帶來的瓶頸，團(tuán)隊在多次迭代后，基于操作系統(tǒng)中經(jīng)典的虛擬內(nèi)存和分頁技術(shù)，提出了全新的注意力算法 PagedAttention，并構(gòu)建了高吞吐量的分布式 LLM 服務(wù)引擎 vLLM，幾乎做到了 KV 緩存內(nèi)存零浪費。

2023 年 6 月，創(chuàng)始團(tuán)隊發(fā)布 vLLM 開源代碼，并一直維護(hù)到今天。下一步，團(tuán)隊計劃將資金用于 vLLM 的開發(fā)、測試和性能提升。

40 年前，世界上最后一個黑客 Richard Stallman 發(fā)起自由軟件運動，開放、平等、協(xié)作、共創(chuàng)的開源精神開始崛起。從 GNU 和 Linux 的結(jié)合，到 MySQL 的第一個版本發(fā)布，到 Mozilla 項目的成立，到分布式版本控制系統(tǒng) Git 的雛形面世、Android 的誕生，再到 GitHub 席卷全球，開源帶來的創(chuàng)新幾乎書寫了一部計算機信息技術(shù)的歷史。

這種創(chuàng)新來自全世界的聚力協(xié)作。vLLM 的全職團(tuán)隊只有 3 個博士生，但 20 多名分布于大模型、Infra、硬件等前沿科技公司的軟件工程師都在為之努力。

為了吸引更多的貢獻(xiàn)者，vLLM 對代碼質(zhì)量要求極高。團(tuán)隊要求代碼必須模塊化，且非常簡潔易讀。同時，團(tuán)隊成員會非常認(rèn)真地做好代碼審查（Code Review），甚至?xí)陂_發(fā)者提交代碼更改（Pull Request，PR）后，在 PR 上接著重構(gòu)后再進(jìn)行合并。

vLLM 社區(qū)的開發(fā)者們在過去 4 場線下見面會上，會用網(wǎng)名親切地稱呼彼此。當(dāng)位于硅谷的 vLLM 團(tuán)隊每天早上醒來，就會發(fā)現(xiàn)一位來自英國的工程師在夜里默默解決掉了二三十個問題。

開源短短一年，我們就看見 vLLM 的伯克利團(tuán)隊之外，包括 Anyscale、IBM、AMD、NeuralMagic、Roblox 在內(nèi)的 300 多名活躍協(xié)作者，在以一行代碼為顆粒度持續(xù)參與貢獻(xiàn)。vLLM GitHub 的每 10 條提交記錄中，就有 8 條來自社區(qū)，而這與 Linux Kernel 在發(fā)布 30 年后才達(dá)到的比例狀態(tài)相當(dāng)。

自從成立，真格基金始終是新技術(shù)和創(chuàng)業(yè)精神的堅定支持者。我們想成為一直堅定地站在創(chuàng)始人身邊的人，陪伴他們引領(lǐng)科技創(chuàng)新并改變這個世界。2022 年，真格基金就曾向開源項目 ControlNet 發(fā)起捐贈。

真格基金管理合伙人戴雨森表示，「這次對 vLLM 這一開源項目的捐贈，是因為我們始終致力于推動 AI 的普及，希望新技術(shù)能惠及盡可能多的人類。和工業(yè)界相比，學(xué)術(shù)界的優(yōu)秀工作目前往往受到更多成本和算力的限制。我們相信，改變世界的最好方式是自己創(chuàng)造——如果可以，與全世界的開發(fā)者一起創(chuàng)造。而對于創(chuàng)造未來的重要基石，我們愿盡綿薄之力。」

如果你在使用 vLLM 時有任何需求與反饋，歡迎在文章下留言，聯(lián)系真格基金幫忙對接。真格基金一直持續(xù)關(guān)注前沿 AI 領(lǐng)域的發(fā)展，如果你有好的創(chuàng)業(yè)想法，也歡迎和我們聊聊。

文｜Wendi