NVIDIA TensorRT
我要评论感谢众多用户及合作伙伴一直以来对NVIDIA TensorRT-LLM的支持。TensorRT-LLM 的 Roadmap 现已在 GitHub 上公开发布！
TensorRT-LLM
持续助力用户优化推理性能
TensorRT-LLM 可在 NVIDIA GPU上加速和优化最新的大语言模型（Large Language Models）的推理性能。该开源程序库在 /NVIDIA/TensorRT-LLM GitHub 资源库中免费提供。
近期，我们收到了许多用户的积极反馈，并表示，TensorRT-LLM 不仅显著提升了性能表现，还成功地将其应用集成到各自的业务中。TensorRT-LLM 强大的性能和与时俱进的新特性，为客户带来了更多可能性。
Roadmap 现已公开发布
过往，许多用户在将 TensorRT-LLM 集成到自身软件栈的过程中，总是希望能更好地了解 TensorRT-LLM 的 Roadmap。即日起，NVIDIA 正式对外公开 TensorRT-LLM 的 Roadmap ，旨在帮助用户更好地规划产品开发方向。
我们非常高兴地能与用户分享，TensorRT-LLM 的 Roadmap 现已在 GitHub 上公开发布。您可以通过以下链接随时查阅：
https://github.com/NVIDIA/TensorRT-LLM
图 1. NVIDIA/TensorRT-LLM GitHub 网页截屏
这份 Roadmap 将为您提供关于未来支持的功能、模型等重要信息，助力您提前部署和开发。
同时，在 Roadmap 页面的底部，您可通过反馈链接提交问题。无论是问题报告还是新功能建议，我们都期待收到您的宝贵意见。
图 2.Roadmap 整体框架介绍
利用 TensorRT-LLM
优化大语言模型推理
TensorRT-LLM 是一个用于优化大语言模型（LLM）推理的库。它提供最先进的优化功能，包括自定义 Attention Kernel、Inflight Batching、Paged KV Caching、量化技术（FP8、INT4 AWQ、INT8 SmoothQuant 等）以及更多功能，以让你手中的 NVIDIA GPU 能跑出极致推理性能。
TensorRT-LLM 已适配大量的流行模型。通过类似 PyTorch 的 PythonAPI，可以轻松修改和扩展这些模型以满足自定义需求。以下是已支持的模型列表。
我们鼓励所有用户定期查阅 TensorRT-LLM Roadmap。这不仅有助于您及时了解 TensorRT-LLM 的最新动态，还能让您的产品开发与 NVIDIA 的技术创新保持同步。
相关文章
欧国联英格兰vs希腊，英格兰临时主帅卡斯利将让斯通斯出任队长
10月10日讯 英格兰队官方消息，临时主帅李-卡斯利已经确认后卫约翰-斯通斯将在明天首次担任三狮队的队长。本月11日和14日的欧国联，英格兰将对阵希腊、芬兰。2025-03-10
十人作战逆境取胜，阿劳霍社媒晒照：全队凭借努力、决心赢下比赛
3月6日讯 在本轮欧冠，巴萨在长时间10人作战的不利局面下，最终1-0小胜本菲卡。队长阿劳霍也在个人社媒晒出仰天长啸庆祝照，配文写道：“全队凭借努力、决心以及意志踢出一场精彩的比赛，让我们下一回合再来2025-03-10
2月10日记者获悉，新疆油田1月份油气生产高位起步，平均日产均超计划运行，油气产量均创历史新高，实现油气生产“开门红”。今年年初以来，新疆油田以“起步即冲刺&rdq2025-03-10
3月6日讯 欧冠1/8决赛首回合，巴萨客场1-0击败本菲卡。记者Javi Miguel透露，巴尔德在本场比赛中脚踝受到重创，他出战奥萨苏纳的可能性不大，不过主要原因是疲劳。他有望在下周中欧冠主场对阵本2025-03-10
穆里尼奥致敬纳达尔：会想念你这位传奇，祝贺你创造了辉煌的历史
10月10日讯纳达尔在个人社交媒体宣布，将在11月的戴维斯杯结束后退役。穆里尼奥在社媒致敬了纳达尔。穆里尼奥写道：我和你一起打过很多次。我会想念你这位传奇，祝贺你创造了如此辉煌的历史。穆里尼奥当年在巴2025-03-10
3月6日讯 在本轮欧冠，拜仁3-0击败勒沃库森。门将乌尔比希替补登场，赛后他也在采访中谈到球队发挥。“首先我祝愿诺伊尔能早日康复，希望他的伤势并不严重，就个人而言，我很高兴能在欧冠迎来首秀，能得到球迷2025-03-10
最新评论