给本地模型装上「长期记忆」：用 Docker 部署 AnythingLLM 私有知识库

为什么需要"私有知识库"

本地大模型（如 Ollama 跑的 Qwen、Llama）脑子是"空的"——它不知道你公司的内部文档、产品手册、历史工单。想让 AI 基于这些私有资料问答，就需要一个"知识库"中间件。AnythingLLM 是开源里最省心的选择：自带界面、支持文档导入、能连你本地的 Ollama 模型，用 Docker 一条命令就能起来。

准备工作

• 一台装了 Docker 的电脑（Windows/Mac/Linux 均可），Docker 版本 20.10 以上。
• 已经用 Ollama 跑起至少一个模型，例如执行过 ollama pull qwen2.5:7b。
• 提前准备一份测试文档（PDF 或 Word 都行）。

第一步：拉取并启动容器

打开终端，执行：

• docker pull mintplexlabs/anythingllm
• export STORAGE_LOCATION=$HOME/anythingllm && mkdir -p $STORAGE_LOCATION
• docker run -d --name anythingllm -p 3001:3001 -v $STORAGE_LOCATION:/app/server/storage mintplexlabs/anythingllm

等十几秒，浏览器打开 http://localhost:3001 就能看到初始化向导。

第二步：连接你的本地模型

向导里选择 LLM 提供方为 "Ollama"，地址填 http://host.docker.internal:11434（让容器访问宿主机上的 Ollama），模型选你已下载的 qwen2.5:7b。Embedder（向量化）先用自带的 "Built-in"（无需联网下载大模型）。

第三步：建工作区并导入文档

新建一个 Workspace（如"产品手册"），点左侧上传按钮把测试 PDF 拖进去，等它切片、向量化完成（进度条走完）。这一步是把文字切成小段、变成可检索的向量。

第四步：开始问它"只有你文档里才有的事"

在对话框问："第三章的退款流程需要哪些材料？" 它会先检索相关片段，再结合模型生成答案，并标注引用来源。你会发现，它答的全是你文档里的细节，而不是通用套话。

几个实用提醒

• 文档更新后，记得在 Workspace 里重新上传或点"重新同步"，旧向量不会自动刷新。
• 7B 模型对长文档检索够用，但总结能力有限；追求质量可换 14B 以上。
• 数据全在本地 $HOME/anythingllm 目录，关掉容器资料也不丢。

到这，你就拥有了一个"只读你资料、不上传云端"的私有 AI 助手。后续还能接 Slack、设 API，把它嵌进团队流程。