Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
查看原文:https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu/
来源:Google Developers Blog(RSS)


