把 Hugging Face 的模型搬回家：下载 GGUF 并导入 Ollama 全流程

Ollama 官方库收录的模型只是一部分，Hugging Face 上几十万个模型才是大海。这篇教你把任意 GGUF 模型导入自己的 Ollama，以后看到好模型就能自己搬回家。

第一步：在模型页选对文件

• 进模型仓库的 Files 页，找 .gguf 文件；优先选带 imatrix 或 K_M 字样的量化档
• 档位速记：Q4_K_M = 质量/体积平衡点（默认选它）；显存小选 Q3_K_M；显存大选 Q5_K_M / Q6_K 换质量
• 多分片文件（00001-of-0000X）要全部下齐，放同一目录

练手文件可以直接下本站镜像的 DeepSeek-R1-Distill-Qwen-7B Q4_K_M（约 4.7GB，单文件、无需分片）。

第二步：写 Modelfile

在 GGUF 文件旁新建一个名为 Modelfile 的文本文件，最小内容只有一行：

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

进阶可再加参数行，例如 PARAMETER temperature 0.6、PARAMETER num_ctx 16384。注意：部分模型需要指定对话模板（TEMPLATE）才能正常说话，模板以原模型页的说明为准——模板不对是最常见的「模型胡言乱语」原因。

第三步：导入并运行

• 在 Modelfile 所在目录执行：ollama create my-r1 -f Modelfile（my-r1 是你给它起的名字）
• 运行：ollama run my-r1
• 之后它就和官方库模型一样，能被 Open WebUI 等前端直接选用，也能通过 API 调用

排错清单

• create 报错找不到文件：路径写相对当前目录，别把网盘同步目录里的文件直接指过去
• 回答复读 / 乱码：十有八九是模板缺失或不对，回模型页抄官方模板
• 跑起来特别慢：看显存是否装不下溢出到内存，降一档量化立竿见影
• 只有 safetensors、没有 GGUF：需要先用 llama.cpp 的 convert 脚本转换，或去找社区（如 unsloth、bartowski）发布的 GGUF 版

再往前一步

搬模型只是「搭模型」的第一课。再往后是给模型加 LoRA、做领域微调、用自己的数据把它调教成专用助手——本站会在本地部署与智能体搭建栏目持续更新这条进阶线。