感謝眾多用戶及合作伙伴一直以來對NVIDIA TensorRT-LLM的支持。TensorRT-LLM 的 Roadmap 現(xiàn)已在 GitHub 上公開發(fā)布！

TensorRT-LLM

持續(xù)助力用戶優(yōu)化推理性能

TensorRT-LLM 可在 NVIDIA GPU 上加速和優(yōu)化最新的大語言模型（Large Language Models）的推理性能。該開源程序庫在 /NVIDIA/TensorRT-LLM GitHub 資源庫中免費提供。

近期，我們收到了許多用戶的積極反饋，并表示，TensorRT-LLM 不僅顯著提升了性能表現(xiàn)，還成功地將其應(yīng)用集成到各自的業(yè)務(wù)中。TensorRT-LLM 強大的性能和與時俱進(jìn)的新特性，為客戶帶來了更多可能性。

Roadmap 現(xiàn)已公開發(fā)布

過往，許多用戶在將 TensorRT-LLM 集成到自身軟件棧的過程中，總是希望能更好地了解 TensorRT-LLM 的 Roadmap。即日起，NVIDIA 正式對外公開 TensorRT-LLM 的 Roadmap ，旨在幫助用戶更好地規(guī)劃產(chǎn)品開發(fā)方向。

我們非常高興地能與用戶分享，TensorRT-LLM 的 Roadmap 現(xiàn)已在 GitHub 上公開發(fā)布。您可以通過以下鏈接隨時查閱：

https://github.com/NVIDIA/TensorRT-LLM

圖 1. NVIDIA/TensorRT-LLM GitHub 網(wǎng)頁截屏

這份 Roadmap 將為您提供關(guān)于未來支持的功能、模型等重要信息，助力您提前部署和開發(fā)。

同時，在 Roadmap 頁面的底部，您可通過反饋鏈接提交問題。無論是問題報告還是新功能建議，我們都期待收到您的寶貴意見。

圖 2.Roadmap 整體框架介紹

利用 TensorRT-LLM

優(yōu)化大語言模型推理

TensorRT-LLM 是一個用于優(yōu)化大語言模型（LLM）推理的庫。它提供最先進(jìn)的優(yōu)化功能，包括自定義 Attention Kernel、Inflight Batching、Paged KV Caching、量化技術(shù)（FP8、INT4 AWQ、INT8 SmoothQuant 等）以及更多功能，以讓你手中的 NVIDIA GPU 能跑出極致推理性能。

TensorRT-LLM 已適配大量的流行模型。通過類似 PyTorch 的 Python API，可以輕松修改和擴展這些模型以滿足自定義需求。以下是已支持的模型列表。

我們鼓勵所有用戶定期查閱 TensorRT-LLM Roadmap。這不僅有助于您及時了解 TensorRT-LLM 的最新動態(tài)，還能讓您的產(chǎn)品開發(fā)與 NVIDIA 的技術(shù)創(chuàng)新保持同步。