当前位置:首页 » AI资讯 » AI快讯

Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

2026-10-20 24

Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

来源:Google Developers Blog(RSS)

相关推荐

扫码关注

qrcode

联系我们

回顶部