有声小说在线收听网,神武八荒一颗小说,雪鹰领主

由 CSDN 舉辦的 NVIDIA AI Inference Day - 大模型推理線上研討會，將幫助您了解 NVIDIA 開源大型語言模型（LLM）推理加速庫 TensorRT-LLM及其功能，使用 NVIDIA Triton^TM推理服務器進行端到端部署 LLM Serving，以及金融行業的 AI、NLP/LLM 應用場景、客戶案例。

通過本次活動，您將了解基于上述產品的 LLM 推理加速和部署的服務化實現管道、性能收益，以及金融行業加速計算解決方案，為您 LLM 和生成式 AI 開發的增效降本提供領先的技術路線參考和知識儲備。建議 AI 領域的數據科學家、AI 開發者和程序員、MLOps，DevOps，IT 運維及 leader，參與本次線上研討會。

NVIDIA TensorRT-LLM 和 Triton 是 NVIDIA AI Enterprise 的一部分（https://www.nvidia.cn/data-center/products/ai-enterprise/）, 這是一款端到端的 AI 軟件平臺，為企業級的安全、穩定、管理和支持任務提供至關重要的 AI 推理解決方案。

注冊報名 NVIDIA AI Inference

Day - 大模型推理線上研討會

活動日程

2023/10/26 19:30 – 21:00

研討會將涵蓋以下主題：

1. 利用 NVIDIA TensorRT-LLM 加速大模型推理

NVIDIA TensorRT-LLM 簡介：產品定位，與原有產品的關系
現支持的模型
現支持的主要功能，如 KV-cache，各種量化方法等
性能
未來路線圖

2. 基于 NVIDIA Triton 推理服務器端到端部署 LLM serving

NVIDIA TensorRT-LLM 的任務調度方案，in-flight batching 的基礎原理
NVIDIA Triton 推理服務器的 TensorRT-LLM backend 介紹
基于 Triton 端到端部署 LLM 的完整解決方案（以 Llama 2 70B 為例）
相關 benchmark 參考結果

3. 金融行業 AI 應用場景分享與 NVIDIA 加速計算解決方案介紹

金融行業 AI 應用場景及客戶案例
NLP/LLM 在金融行業的潛在應用場景
NVIDIA 針對金融場景的加速計算解決方案

演講嘉賓

季光

NVIDIA GPU 加速計算專家團隊經理

盧翔龍

NVIDIA 資深解決方案架構師

史永明

NVIDIA 工程與解決方案架構經理

參與方式

微信識別上方二維碼，注冊參加本次活動

相關資料

快速上手 TensorRT-LLM 的資源如下:

訪問 GitHub 倉庫,獲取開源代碼：https://github.com/NVIDIA/TensorRT-LLM
探索 TensorRT-LLM 的示例代碼：https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples
benchmark：https://nvidia.github.io/TensorRT-LLM/performance.html
以及用戶手冊：https://nvidia.github.io/TensorRT-LLM/index.html