当前位置:首页 » AI资讯 » AI快讯

SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

2026-10-20 5

SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。

来源:LMSYS Blog

相关推荐

扫码关注

qrcode

联系我们

回顶部