Ollama：在自己电脑上一条命令就能跑起大模型的工具，支持 De…

在自己电脑上一条命令就能跑起大模型的工具，支持 DeepSeek、Qwen、Llama、Gemma、GLM 等主流开源模型，是本地部署大模型的事实标准入门选择

项目信息

• GitHub 仓库：ollama/ollama
• Star 数：186,655（统计于 2026 年 11 月）
• 主要语言：Go
• 开源许可：MIT

核心亮点

• 一条命令拉取并运行模型：ollama run deepseek-r1，自动处理下载与加载
• 自带与 OpenAI 兼容的本地 API，写好的程序改个地址就能切换到本地模型
• 跨平台支持 Windows、macOS、Linux，消费级显卡甚至纯 CPU 也能跑小模型
• 模型库丰富，Kimi、GLM、MiniMax、gpt-oss 等新模型上线速度极快

适合谁用

想在本地免费、安全地用大模型的个人用户；需要给应用接本地模型的开发者；注重数据隐私、不能让资料出本地的团队。

快速开始

官网或本站下载安装包后，终端执行 ollama run qwen3 即可开始对话；配合本站《Ollama 本地部署保姆级教程》十分钟完成从安装到接入应用的全过程。

本站高速下载

国内直连 GitHub 较慢，本站已把源码包镜像到自有服务器，点击即可高速下载：

下载 Ollama 源码包（本站镜像）

原仓库地址：https://github.com/ollama/ollama（建议同时去原仓库点 Star 支持作者）

工作原理拆解

把 Ollama 拆开看，它其实是三层：模型仓库（按名字版本化管理权重文件，格式为 GGUF）、推理引擎（基于 llama.cpp，负责把权重加载进显存/内存并逐字生成）、服务层（常驻后台进程，对外提供命令行与 HTTP API）。你敲的每一句 ollama run，都是在让服务层去仓库取模型、交给引擎跑——理解这三层，排错就有了方向：下不动是仓库/网络问题，跑不动是引擎/显存问题，接不上是服务层端口问题。

怎么用出效果：量化档位这样选

• Q4_K_M（推荐默认）：体积约为原模型四分之一，质量损失小，速度与显存最均衡
• Q5_K_M / Q6_K：显存富裕时选，细节与长文一致性再好一点
• Q8_0：接近原精度，体积翻倍，除非做严肃评测没必要
• Q2 / Q3：只为塞进小显存的妥协档，回答质量下降肉眼可见，能避就避

另一个关键参数是上下文长度：默认偏保守，处理长文档时在 Modelfile 里把 num_ctx 调到 16384 或更高，代价是更吃内存，按需调。

效果怎么样（实话版）

Ollama 本身不决定聪明程度，模型决定上限、量化决定打折多少、硬件决定速度。以 7B 级 Q4 模型为例：主流消费显卡上生成速度可达每秒几十个 token，日常对话与写代码流畅；纯 CPU 跑则降到每秒几个到十几个 token，能用但需要耐心。它的真正价值是「零成本、私密、随开随用」——效果请按「本地小模型」预期，而不是对标云端旗舰。