在本周的 GPU 技术大会 (GTC) 上,Nvidia 的 Blackwell Ultra 以及即将推出的 Vera 和 Rubin CPU 和 GPU 成为了讨论的焦点。但是这次年度开发者盛会最重要的公告之一可能并非芯片,而是一个名为 Dynamo 的软件框架,它旨在解决大规模 AI 推理的挑战。 在 GTC 舞台上宣布的 ...
在2025年GTC开发者大会上,NVIDIA以“AI推理新时代”为核心,发布了多款硬件与软件产品组合。从新一代GPU架构BlackwellUltra到开源推理框架Dynamo,再到硅光交换机平台,NVIDIA试图通过技术迭代与生态整合,巩固其在AI算力领域的领导地位。然而,下一代产品Rubin系列 ...
来自MSN
Nvidia开源全新推论软件Dynamo
Dynamo是Nvidia既有Triton Inference Server的继任推论软件,主要利用分解式服务(disaggregated serving)将大型语言模型的处理阶段与生成阶段,分别部署在不同的GPU上,以提升性能与效率。 图片来源/Nvidia ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果