



当前位置：首页 » AI资讯 » AI快讯

transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

2026-09-22

1

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

查看原文：https://huggingface.co/blog/transformers-llama-cpp-quants

来源：Hugging Face：Blog（RSS）

未经允许不得转载：AI之家 » transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

相关推荐