不用命令行,在笔记本上跑开源大模型:LM Studio 从安装到对话

为什么选 LM Studio

Ollama 很流行,但它依赖命令行,对不写代码的同事不友好。LM Studio 是图形界面,下载模型、加载、聊天全在窗口里点完,适合想在本地试大模型又不想碰终端的人。

第一步:下载安装

打开 lmstudio.ai,选对应系统的安装包(Windows / macOS / Linux 都有)。mac 上如果芯片是 Apple Silicon,页面会自动给适配版本,装完直接打开,不需要配置环境。

第二步:挑一个能跑得动的模型

点左侧「搜索」图标,进入模型库。先别追参数大的,普通笔记本建议从 7B 量级开始,比如 qwen2.5-7b 或 llama-3.2-3b 的量化版(文件名带 Q4_K_M 这种就是压缩过的,体积小、速度快)。

  • 内存 8G:选 3B 以下。
  • 内存 16G:7B 量化版基本流畅。
  • 内存 32G 以上:可以试 14B。

第三步:加载并对话

下载完成后,点「本地模型」加载。右侧聊天框直接打字就行。第一次加载会慢几秒,之后响应很快。想让它更听话,可以在「系统提示」里写一句角色设定,比如「你是一个帮我改代码的助手,只给最小改动」。

第四步:验证本地确实没联网

把 Wi-Fi 关掉再问一句话,能答出来就说明模型真在本地跑,数据没有出机器。这一点对处理合同、客户名单这类敏感内容很重要。

常见卡点

  • 下载卡在 0%:换模型库里的镜像源,或挂代理。
  • 对话很慢:换更小的量化版本,Q4 比 Q8 快一倍。
  • 中文发疯:优先选 qwen、glm 这类中文训练充分的模型,别用纯英文底座硬套中文。
文章版权声明:除非注明,否则均为开源技术之家原创文章,转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (暂无评论,4人围观)

还没有评论,来说两句吧...

目录[+]

取消
微信二维码
微信二维码
支付宝二维码