用 Ollama 在本地跑通第一个大模型：从安装到对话的完整流程

为什么要在本地跑模型

云端模型方便，但涉及公司内部文档、个人隐私数据时，把内容传到第三方服务器总归不踏实。Ollama 是一个把开源大模型装到本机的工具，配置门槛很低，适合想「自己掌控数据」的人。本教程以 macOS / Linux 为例，Windows 思路一致。

第一步：安装 Ollama

打开终端，执行官方安装命令：

curl -fsSL https://ollama.com/install.sh | sh

装完在浏览器访问 http://localhost:11434，能看到一个简单页面就说明服务起来了。Mac 用户也可以直接下载 .app 双击安装。

第二步：拉取一个模型

模型需要单独下载。新手建议先试 qwen2.5:7b，中文能力够用，对内存要求也不算离谱（建议 16G 内存以上）：

ollama pull qwen2.5:7b

下载速度取决于网速，7B 模型大约几个 GB。如果机器内存紧张，可以换更小的 qwen2.5:3b。

第三步：直接对话

命令行里敲：

ollama run qwen2.5:7b

进入交互后直接打字提问即可，/bye 退出。第一次运行会自动加载，稍等几秒。

第四步：用 API 接自己的程序

Ollama 自带兼容 OpenAI 的接口，本地默认地址就是 http://localhost:11434/v1。用 curl 测一下：

curl http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"用一句话解释什么是向量数据库"}'

返回 JSON 里的 response 字段就是回答。拿到这个接口，你就能把本地模型接进自己的脚本、笔记工具或聊天界面，不再依赖云端。

常见卡点

• 报内存不足：换更小的模型，或关掉占用内存的软件。
• 想换模型：ollama list 看已装列表，ollama rm 名称 删除。
• 想开机自启：Mac 装 .app 版默认登录后自启，命令行版需自己加启动项。

跑通这几步，你就拥有了一个完全离线、数据不出本机的 AI 助手。后续想接界面，可搭配 Open WebUI 一类前端，体验会更接近网页版。