当前位置:首页 » AI资讯 » AI快讯

SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启

2026-08-22 2

SGLang 团队推出 Weight Cache Daemon,通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒(约 785 倍加速),端到端启动时间减少 93.9%。该守护进程在 GPU 内存中持久化后量化权重,支持多实例共享和亚秒级主备切换,是 Fast Engine Recovery Framework 的第一阶段。

来源:LMSYS:Blog(Chatbot Arena 团队)

相关推荐

扫码关注

qrcode

联系我们

回顶部