1、前言
不知道大家有没有和我一模一样的糟心经历🤦♀️! 写项目代码写到一半,云端大模型提示今日额度耗尽;赶方案的时候恰逢晚高峰,接口疯狂限流,回复慢到可以泡完一杯奶茶;处理公司内部文档、私人笔记、未公开的业务思路,又不敢一股脑丢给线上 AI。 毕竟数据上传第三方服务器,谁也说不准隐私数据会流向哪里。花钱充会员吧,月费年年涨,用的少觉得亏,用得多钱包直接滴血。
那有没有一种办法?模型跑在自己电脑本地,所有数据只存在本机,不用花钱买 API 点数,不受平台管控,还支持商用,普通家用显卡也能跑!
最近开源圈重磅炸场的 Qwen3.8 系列大模型,就把这件事变成现实!
很多宝子一听到本地部署大模型,脑袋直接大一圈:是不是要敲一堆黑乎乎命令行?要折腾 CUDA 环境?要配置一大堆复杂参数?显卡不够直接跑不起来?折腾两三天还跑崩,直接摆烂放弃。
No no no🙅♀️!今天这篇保姆级教程专门拯救命令行 PTSD 人群! 我们用可视化神器 LM Studio,全程鼠标点点点,零复杂命令,在 Windows 机器上部署强悍的 Qwen3.8。 你不仅可以本地聊天、识图、写网页、直接生成完整游戏代码,还能开启 OpenAI 兼容 API,对接 Cherry Studio 等第三方工具。 最最最重磅的大招放在后面!借助 cpolar 内网穿透,不需要运营商公网 IP,不用折腾路由器端口映射,不用修改防火墙规则,手机、笔记本在外也能远程调用家里台式机的本地大模型算力!
不管你是学生党做项目、打工人处理内部资料、技术爱好者玩 AI 开源,这一套流程都超级实用。建议⭐收藏,实操的时候反复翻阅,跟着抄作业就完事!
2、关于 Qwen3.8 & LM Studio
✨为什么强烈安利 Qwen3.8?好处一次性说透!
通义 Qwen3.8 系列一发布,开源圈子直接沸腾,尤其是 27B 稠密版本,对比上代 Qwen3.6‑27B 属于跨越式全方位升级,优势多到数不过来👇
✅编码能力直接开挂,开发效率翻倍 写业务工程代码、前端页面、算法竞赛刷题、调试 bug 能力大幅提升。不是只能输出简单片段,我实测它可以直接输出完整可运行的 FPS 枪战游戏单文件 HTML,包含敌人 AI、枪械逻辑、受伤反馈、光影场景,复制双击浏览器就能跑。对于开发者来说,这相当于白嫖一个能力强悍的本地代码助手。
✅原生真・多模态,拒绝缝合补丁 市面上不少开源模型,文本模型后期强行打补丁加上识图能力,识别图表、图片文档经常翻车乱答。但 Qwen3.8 是原生多模态稠密架构,识别图片、解析表格、看图做数学题都稳稳当当。工作中截图需求文档、截图报错界面,直接丢给模型就能分析,实用性直接拉满。
✅百万 Token 超大上下文,告别文档拆分噩梦 原生就支持 262K 上下文,还可以拓展最高 100 万 token!几十万字业务文档、整套项目代码仓库、长篇小说,直接一次性喂给模型,不用手动复制切割成一小段一小段。读完整份源码做分析、阅读长篇合同,再也不用反复分段粘贴,节省巨多重复劳动。
✅Agent 智能体能力进阶,自动化潜力巨大 支持智能体任务,可以模拟电脑操作、操控浏览器,处理长周期复杂任务。如果你喜欢折腾 AI 自动化工作流,这个模型的上限非常高,可以挖掘超多好玩的玩法。
✅Apache2.0 超友好开源协议!可商用!这点真的很香! 很多开源模型只允许个人非娱乐使用,企业拿来做产品就要面临授权风险。Qwen3.8 采用 Apache2.0 协议,个人学习玩耍完全免费,公司商业产品内部使用也没有版权坑,不用害怕后续收到版权律师函。
✅本地运行,隐私牢牢握在自己手里 全部对话、上传的图片、文档,全部保存在你的电脑硬盘,不会上传到外部第三方服务器。处理公司机密方案、私人日记、未公开创业想法,安全感直接拉满,再也不用担心敏感信息泄露。
硬件友好提示:27B 版本能力天花板最高,但对显卡有一定门槛。如果你的显卡显存比较拮据也不用灰心,官方同步推出 Qwen3.8‑9B 版本!牺牲一小部分高阶能力,换来飞快生成速度,8G 显存显卡就能流畅跑,日常写代码、聊天识图完全够用,普通小伙伴优先考虑 9B 版本!
![]()
🧰LM Studio,命令行恐惧者的救命神器
想要跑大模型,有的人会去折腾 Ollama、llama.cpp,需要记住一堆命令参数,新手很容易踩坑报错。而 LM Studio 就是专门为我们普通玩家打造的可视化工具,优点必须给大家唠明白:
- 全平台兼容:Windows、Mac、Linux 全都支持,一套软件到处用。
- 100% 图形可视化操作,零命令行:搜索模型、一键下载、切换模型,GPU 卸载层数、温度、top‑p、上下文窗口,全部滑块拖拽调整,不用背诵晦涩参数。
- 硬件状态实时监控:界面直接展示显存、内存占用,模型吃了多少硬件资源一眼看清,不用切到任务管理器来回扒数据。
- 重点!内置 OpenAI 兼容 API 服务! 千万不要误以为 LM Studio 只是一个聊天窗口!这是绝大多数人会漏掉的宝藏功能。开启 API 之后,你的电脑直接变身私有 AI 服务器。 Cherry Studio、各类 AI 脚本、笔记软件、开发工具,只要兼容 OpenAI 接口格式,通通都能调用本地 Qwen3.8 模型,拓展玩法直接打开新世界。

3、windows 部署安装 LM Studio
实操环境 Windows 系统,步骤写的超级细,跟着走基本不会翻车🚗
- 打开 LM Studio 官方下载地址:https://lmstudio.ai/download 选择 Windows 版本安装包下载。下载完成后双击安装程序,一路点击下一步完成安装。
📝小吐槽:安装过程会默认推荐谷歌系模型,咱们直接跳过就可以,不用理会!
- 软件首次启动,进入主界面之后,点击左下角设置图标,把软件界面语言切换为中文。汉化之后阅读各个功能选项对小白更加友好。
✅到这里基础软件环境就安装搞定啦,全程没有敲一行命令,是不是超级友好!
- 下载 Qwen3.8 模型本体 点击左侧菜单栏第四个【模型搜索】,在顶部搜索框输入
Qwen3.8。 此时列表会刷出来一大堆不同参数量、不同量化版本的模型。
💡给大家再科普一遍量化知识,这个知识点一定要记牢! Q4/Q5/Q6/Q8 代表模型量化等级:数字越低,模型压缩体积越小,占用显存内存更少,会轻微损失一点点精度;数字越高模型效果越贴近原版,但是吃更多硬件资源。 LM Studio 在每一个模型右侧都会给出硬件资源预估提示,这个提示非常有参考价值,选模型的时候优先看这里!
👉方案 A:16GB 及以上显存显卡,想要拉满体验,选Qwen3.8‑27B Q4 量化无审查版本,综合能力天花板。 👉方案 B:8GB 左右普通家用显卡,追求丝滑响应,选社区微调降低拒答的Qwen3.8‑9B Q8_0 版本。
选好之后点击下载按钮耐心等待。如果下载速度龟速,网络条件允许可以加速,泡杯奶茶☕等待模型下载完成。
4、简单使用
模型下载完成,我们正式开启体验,测试聊天、识图、写代码,顺便摸清楚硬件性能差异。
①对话基础测试
在软件聊天界面顶部选择已经下载好的模型,就可以直接对话聊天。 我拿 RTX5060Ti 16G 显存机器跑 Qwen3.8‑27B Q4 版本,生成速度大概 3‑4 token/s。效果很强,但速度会偏慢,长文本生成的时候等待感会比较明显。
换到多卡机器 4×RTX2080Ti 22GB,同样 27B 模型,速度飙升到 40+ token/s,写大段代码行云流水。
但是大部分小伙伴手里没有豪华多卡!我们切换 Qwen3.8‑9B Q8_0 版本,同样普通显卡,速度直接冲到 58 token/s,日常对话丝滑流畅,体验感直接起飞。
②多模态识图能力测试
Qwen3.8 支持图片理解,聊天框直接上传图片,模型就可以解析图片内容、识别图表文字。我测试截图、照片都可以精准读取核心信息,不用再单独找识图工具。
③编码能力实战
我分别拿 27B 与 9B 测试生成登录页面 HTML 代码。 27B 版本输出的登录页面细节拉满,自带第三方登录、60 秒验证码倒计时、细腻交互动画;
9B 版本输出页面简约实用,渐变色按钮、输入框聚焦光晕、悬停动画一应俱全。虽然细节丰富度略低于 27B,但是完全可以满足日常开发辅助。
重头戏!我直接丢给 27B 一大段提示词,要求输出完整 Three.js 第一人称 FPS 枪战游戏单 HTML。 模型生成完整全套代码:WASD 移动、跳跃奔跑、枪械换弹逻辑、枪口火光、后坐力、敌人 AI 巡逻攻击、爆头暴击、血量弹药 HUD、受伤屏幕泛红、仓库掩体地图全部实现。复制保存 html,双击浏览器直接打开就能玩!本地大模型的代码实力真的会让你大吃一惊。
开启本地 API,对接 Cherry Studio
仅仅在 LM Studio 内部聊天太浪费本事啦!我们打开内置 API 服务,让别的软件也调用本地大模型。
- 点击左侧第二个【开发者】标签页,进入 Server Settings。默认端口是
1234,如果这个端口被别的程序占用,请修改成未被占用端口,示例12345。
- 在电脑任务栏右键 LM Studio 图标,点击启动服务,观察日志提示服务启动成功。
接下来打开开源客户端 Cherry Studio 做接入测试:
- 设置页面,添加服务商,选择 OpenAI 兼容类型。
- API 地址填写
http://localhost:12345,API 密钥随便填写一串字符,例如1,保存。
- 点击获取模型列表,选中我们下载好的 Qwen 模型,发送消息测试。 如果正常返回回答,代表本地 API 调用成功! 从此以后,Cherry Studio、其他支持 OpenAI 接口的工具全部可以调用本机大模型。
👉但是!现在仅仅局限在家里同一台电脑、同一个局域网内访问。 如果出门上班、外出出差、线下交流,离开了家里 Wi‑Fi,就没办法访问家里这台性能机器上跑的 Qwen3.8,这么强的算力只能宅家使用,实在有点可惜!
5、介绍以及安装 cpolar
🤔我们面临的真实痛点
之前我线下和技术小伙伴开会深有体会!我家里台式机稳稳跑着 Qwen3.8‑27B,算力很强。线下开会临时要梳理技术方案,身边小伙伴全部在用云端 AI。 云端的弊端我们前面已经吐槽很多:限流、额度、隐私风险。我想直接调用家里电脑的本地大模型,但是现实难题来了:
家用宽带绝大多数情况没有公网 IP! 想要外网访问家里电脑服务,传统方案需要找运营商申请公网 IP,登录路由器做端口映射,配置防火墙,还要处理 NAT 回流。整套操作门槛极高,设置错一点点,就会把本机端口赤裸裸暴露在互联网,带来极大安全隐患。折腾大半天还不一定能用,对普通用户太不友好。
✨这个时候 cpolar 内网穿透工具就闪亮登场!它就是打通本地服务与公网的一扇安全任意门!
✨cpolar 能带给我们什么好处,帮大家划重点:
- 不需要公网 IP!不用找运营商办理业务,不用改动路由器任何配置,下载软件安装完成就可以直接使用,小白友好。
- 安全内网穿透方案,把本地 LM‑Studio 的 API 接口映射到公网。你在外用笔记本、手机上的 AI 客户端,就可以远程调用家里台式机的 Qwen3.8 算力。家里电脑负责负重跑模型,外面设备只管发出请求接收结果。
- 支持固定域名:默认随机域名每次重启会变,我们可以申请保留专属固定二级子域名,公网访问地址永久不变,不用每次复制新链接。
- 加密隧道传输,不用裸端口直接暴露主机,对比手动端口映射安全性高一大截。
- 免费版本可以体验完整功能,个人长期稳定使用建议升级套餐解锁固定域名、更高带宽,随时随地享用家里私有大模型。
想象一下这个场景: 你外出出差,轻薄本性能羸弱跑不动大模型。但是家里高性能台式机 24 小时开机跑着 Qwen3.8。 不管你在酒店、咖啡馆、线下交流会,打开 Cherry Studio 填入 cpolar 公网地址,就可以直接调用家里强悍的 27B 大模型写代码、分析文档。不用把大模型扛在笔记本上,轻薄本也能享受顶配 AI 算力,而且全部数据还是走你的本地模型,隐私依旧可控!
Windows 安装 cpolar 步骤
- 前往 cpolar 官网下载 Windows 客户端安装包,双击一路下一步完成安装。
- 安装结束后,浏览器访问
http://localhost:9200,打开 cpolar 本地 Web‑UI 管理界面。 - 没有注册账号的小伙伴,先完成注册登录。免费账号即可上手体验!
6、使用 cpolar 远程使用
步骤 1:创建隧道映射 LM‑Studio 服务
- 登录 cpolar 后台,点击左侧「创建隧道」 隧道名称:自定义,例如
LM‑Studio本地地址:填写刚刚 LM Studio 开发者页面设置好的端口,示例12345域名类型:这里划重点!默认是随机域名,每次重启隧道地址就会变化,临时测试可以用。
如果想要长期稳定远程访问,强烈建议去官网后台【预留】板块,选择保留二级子域名,地区选择 china‑top,自定义名称后点击保留,复制生成好的固定子域名,粘贴到隧道配置中。有固定域名之后公网访问地址永久不变,不用每次重新复制链接。
- 配置完成,点击创建隧道。随后打开「在线隧道列表」,就能看到我们的公网访问地址。
步骤 2:客户端切换为公网地址测试
打开 Cherry Studio,编辑之前配置好的 LM‑Studio 服务商。 把原来本地localhost:12345地址替换成 cpolar 给你的公网地址。 点击获取模型列表,如果可以成功读取模型,代表外网穿透已经生效! 此时你只要设备可以上网,不在家里局域网,也可以调用家里电脑运行的 Qwen3.8 大模型!、
⚠️重中之重!开启 API 鉴权 Token,保障你的电脑安全!
敲黑板!这一步千万不要偷懒! 本地localhost访问无所谓,一旦我们把接口暴露公网,如果没有密码鉴权,别人拿到你的公网链接,就可以肆无忌惮调用你家电脑 GPU,疯狂消耗显卡资源!
- 回到 LM Studio 软件,左侧打开【开发者】,Server Settings 里面,打开 Require Authentication(需要身份验证)。开启之后,所有 API 请求必须携带 Token 凭证才能访问。
- 找到 Manage Tokens,点击 Create Token 创建新令牌,名称自定义,比如
cherrystudio,MCP 权限保持 Deny 拒绝,不影响大模型基础 API 调用,点击创建。
- ⚠️生成的 Token 只显示一次!立刻复制保存到记事本,关掉弹窗就再也看不到完整内容!
- 返回 Cherry Studio 配置页面,把刚才复制的 Token 粘贴进 API 密钥框。
可以做个小测试:清空 API 密钥,点击获取模型列表,会直接报错拿不到模型,代表无凭证访问被拦截;填入正确 Token 之后恢复正常,鉴权就配置完成啦。
开启 Token 鉴权之后,只有手里持有这个密钥的人,才能够远程调用你的本地 Qwen3.8,大大提升公网远程使用的安全性,安心出门远程玩模型!
7、结尾
🎉恭喜看到这里的小伙伴!整套流程全部搞定! 现在你实现了三件大事: ✅Windows 通过 LM Studio 本地成功部署 Qwen3.8 大模型,体验聊天、识图、强悍代码生成能力,所有数据留在本机,隐私可控,还支持商用。 ✅开启 OpenAI 兼容 API,本地网络内其他软件可以调用这套私有大模型。 ✅搭配 cpolar 内网穿透,不需要公网 IP,加上 Token 鉴权保护,随时随地外网远程调用家里电脑的 AI 算力。
再也不用被云端 AI 限流、额度、高昂会员费拿捏。不管是学生做课程项目,打工人处理内部敏感文档,技术爱好者折腾 AI 工作流,这套方案都很香。
💬互动时间:你们手上是什么显卡?跑本地大模型踩过什么哭笑不得的坑?欢迎评论区一起唠唠!
👉如果你想要随时随地远程访问自己本地部署的 Qwen3.8,赶紧注册 cpolar 体验,解锁固定域名,把家里闲置显卡算力利用起来。 后续我还会持续分享更多好玩开源 AI 项目、NAS 折腾、本地大模型的实操干货,欢迎关注,不错过每一篇保姆级教程!




































