今天，真格基金高興地宣布向開源 AI 項目 vLLM 提供捐贈。

開源技術處于 AI 革命的中心。Llama 3、Mistral 等開源大模型迅速追趕 GPT-4，TensorFlow、Pytorch 等開源深度學習框架提供了豐富的庫和工具。GitHub 上有 6 萬個通用人工智能項目，Hugging Face 上有超過 40 萬個模型。每一周，有超過 100 萬行代碼在開源 AI 領域中創建，開發者像交換禮物一樣，從全世界的各個角落為開源項目作出貢獻。

2022 年，一個加州大學伯克利分校的 3 人團隊從一個加速 OPT-175B 訓練推理的 demo 項目開始，在兩年的時間里搭建出了全球范圍內最受歡迎的開源大模型推理加速框架 vLLM。

vLLM(https://github.com/vllm-project/vllm)的目標是，搭建最快速、最易用的開源 LLM 推理服務引擎(Build the fastest and easiest-to-use open-source LLM inference & serving engine)。

與 Hugging Face Transformers 相比，它提供高達 24 倍的吞吐量，而無需進行任何模型架構更改。今天，vLLM 在 GitHub 上的星標數已經突破 21.8k，而距離去年 6 月開源以來只過去了一年。

vLLM 支持幾乎所有最新的開源 LLM，包括 Mistral，Llama，Gemma 等 30+ 大模型。一個新的開源大模型，幾乎都會在發布前主動接觸 vLLM 做好適配優化，確保在上線的第一天，大家就能通過 vLLM 來使用它。

vLLM 不執著于英偉達 GPU。與其它框架相比，這也是 vLLM 一個很大的不同點——支持包括 AMD GPU，Intel CPU/GPU/Habana Gaudi，Google TPU，AWS 在內市面上最全的硬件架構。從項目創立起，vLLM 就希望能廣泛支持能夠使得推理更快、成本更低也更適用的硬件。

在 ChatGPT 上線、Facebook 成為 Meta 之前，vLLM 誕生于一個名為「Alpa」的自動化并行推理 demo 項目。但在部署過程中，vLLM 團隊發現 demo 的速度很慢，GPU 利用率也非常低。這讓他們意識到，大語言模型推理本身就是一個非常值得關注的問題。

當時的市面上沒有任何大語言模型推理優化的開源系統。于是，團隊決定從 0 開始自己動手做一個。面對 GPU 的內存管理帶來的瓶頸，團隊在多次迭代后，基于操作系統中經典的虛擬內存和分頁技術，提出了全新的注意力算法 PagedAttention，并構建了高吞吐量的分布式 LLM 服務引擎 vLLM，幾乎做到了 KV 緩存內存零浪費。

2023 年 6 月，創始團隊發布 vLLM 開源代碼，并一直維護到今天。下一步，團隊計劃將資金用于 vLLM 的開發、測試和性能提升。

40 年前，世界上最后一個黑客 Richard Stallman 發起自由軟件運動，開放、平等、協作、共創的開源精神開始崛起。從 GNU 和 Linux 的結合，到 MySQL 的第一個版本發布，到 Mozilla 項目的成立，到分布式版本控制系統 Git 的雛形面世、Android 的誕生，再到 GitHub 席卷全球，開源帶來的創新幾乎書寫了一部計算機信息技術的歷史。

這種創新來自全世界的聚力協作。vLLM 的全職團隊只有 3 個博士生，但 20 多名分布于大模型、Infra、硬件等前沿科技公司的軟件工程師都在為之努力。

為了吸引更多的貢獻者，vLLM 對代碼質量要求極高。團隊要求代碼必須模塊化，且非常簡潔易讀。同時，團隊成員會非常認真地做好代碼審查（Code Review），甚至會在開發者提交代碼更改（Pull Request，PR）后，在 PR 上接著重構后再進行合并。

vLLM 社區的開發者們在過去 4 場線下見面會上，會用網名親切地稱呼彼此。當位于硅谷的 vLLM 團隊每天早上醒來，就會發現一位來自英國的工程師在夜里默默解決掉了二三十個問題。

開源短短一年，我們就看見 vLLM 的伯克利團隊之外，包括 Anyscale、IBM、AMD、NeuralMagic、Roblox 在內的 300 多名活躍協作者，在以一行代碼為顆粒度持續參與貢獻。vLLM GitHub 的每 10 條提交記錄中，就有 8 條來自社區，而這與 Linux Kernel 在發布 30 年后才達到的比例狀態相當。

自從成立，真格基金始終是新技術和創業精神的堅定支持者。我們想成為一直堅定地站在創始人身邊的人，陪伴他們引領科技創新并改變這個世界。2022 年，真格基金就曾向開源項目 ControlNet 發起捐贈。

真格基金管理合伙人戴雨森表示，「這次對 vLLM 這一開源項目的捐贈，是因為我們始終致力于推動 AI 的普及，希望新技術能惠及盡可能多的人類。和工業界相比，學術界的優秀工作目前往往受到更多成本和算力的限制。我們相信，改變世界的最好方式是自己創造——如果可以，與全世界的開發者一起創造。而對于創造未來的重要基石，我們愿盡綿薄之力。」

如果你在使用 vLLM 時有任何需求與反饋，歡迎在文章下留言，聯系真格基金幫忙對接。真格基金一直持續關注前沿 AI 領域的發展，如果你有好的創業想法，也歡迎和我們聊聊。

文｜Wendi