当前位置:首页 » AI资讯 » AI快讯

Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

2026-10-03 1

Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

来源:Baseten 工程博客(网页)

相关推荐

扫码关注

qrcode

联系我们

回顶部