本地部署 Open-LLM-VTuber:接入大模型,打造会听会说的 AI 虚拟伴侣

Open-LLM-VTuber

前言

你有没有幻想过,屏幕那头有一个能听懂你说话、看着你的眼睛、还会用温柔声音回应你的虚拟伙伴?

以前,这似乎是科幻电影里的情节;但今天,随着大语言模型(LLM)、语音合成(TTS)、语音识别(ASR)和 Live2D 虚拟形象技术的成熟,一个会听、会说、会动的 AI 伴侣已经从想象走进了我们的电脑。

它将强大的大语言模型接入 Live2D 虚拟形象,让虚拟角色不仅能”开口聊天”,还能听懂你的语音、做出生动的表情与动作反应。

而最重要的是——通过本地部署,你可以完全掌控自己的数据与体验,无需依赖昂贵的云端服务,也无需担心隐私泄露。

本篇文章将带你从零开始,完成一次完整的本地部署:从环境准备、依赖安装,到接入大模型、配置语音交互与虚拟形象,最终打造出一位真正会听会说的 AI 虚拟伴侣。

无论你是想做一个桌面宠物、一个学习陪伴者,还是单纯想探索 AI 与人机交互的边界,这趟旅程都会既有趣又充满惊喜。

1 什么是Open-LLM-VTuber?

简单来说,Open-LLM-VTuber 是一个开源框架,它把目前最前沿的 AI 技术整合在一起,让你能在本地电脑上运行一个”看得见、听得到、会思考、能回应”的虚拟角色。你可以把它理解为一台让二次元角色”活过来”的引擎:它给 Live2D 虚拟形象装上了大脑、耳朵和嘴巴,使她不再只是一个立绘,而是一个能与你实时对话的 AI 伴侣。

核心功能

  • 👁️ 视觉感知,支持摄像头、屏幕录制和截图,让你的AI伙伴能够看到你和你的屏幕
  • 🎤 无需耳机即可进行语音干扰(AI 听不到自己的声音)
  • 🫱 触控反馈,通过点击或拖拽与你的AI伙伴互动
  • 😊 Live2D 表情,设置情绪映射以从后端控制模型表情
  • 🐱 宠物模式,支持透明背景、全局置顶和鼠标点击穿透——将你的AI伙伴拖到屏幕上的任意位置
  • 💭 展现AI的内心想法,让你无需聆听就能看到AI的表情、想法和行为。
  • 🗣️ AI主动说话功能
  • 💾 聊天记录保存,随时切换到之前的对话
  • 🌍 支持文本转语音 (TTS) 翻译(例如,聊天语言为中文,而 AI 使用日语语音)

image-20260617165019185

2 部署前准备

正式开始部署之前,我们先确认 Open-LLM-VTuber 的使用方式,并准备好运行所需的基础环境。

2.1 选择合适的部署方式

Open-LLM-VTuber 目前主要提供桌面端和 Web 端两种使用方式:

部署方式 主要特点 适用场景
桌面应用程序 功能相对完整,可提供桌面宠物、窗口置顶以及更多本地交互能力 主要在本机使用,希望获得更完整的桌面体验
Web 版本 部署灵活、跨平台,可直接通过浏览器访问,也方便进行远程共享 多设备访问、服务器部署以及公网远程使用

本次教程选择部署 Web 版本

image-20260617170517273

与桌面应用相比,Web 版本的部分本地交互能力会有所精简,但它的优势也很明显:不受具体设备限制,只要浏览器能够访问服务地址,就可以打开 Open-LLM-VTuber。

这也意味着,我们可以将它部署在一台能够长期开机的电脑或服务器上,再通过局域网或公网地址访问,而不必始终守在安装程序的那台电脑前。

2.2 为什么选择 Web 版?

既然桌面应用的功能更加完整,为什么这次还要选择 Web 版本?

原因很简单:我不希望这个 AI 虚拟伴侣只能在本地电脑上使用,而是希望在手机、平板或者其他电脑上,也能随时打开浏览器和它对话。

Open-LLM-VTuber Web 服务部署完成后,默认只能在本机或同一局域网内访问。如果人在外面,手机切换到移动网络,就无法直接打开本地页面。

这时可以通过 cpolar 内网穿透,将运行在本地的 Web 服务映射成一个公网地址。这样即使没有公网 IP,也不需要修改路由器端口转发规则,在外面同样可以通过浏览器访问 Open-LLM-VTuber。

cpolar-open-llm-vtuber

采用这种方式主要有以下几个优势:

  • 远程访问:不需要公网 IP,也不用手动配置路由器端口转发。
  • 多端兼容:手机、平板和其他电脑都可以直接通过浏览器打开。
  • 按需启停:需要远程使用时开启隧道,不需要时可以随时关闭。
  • 部署灵活:Open-LLM-VTuber 继续运行在本地,cpolar 只负责提供公网访问入口。

简单来说,Open-LLM-VTuber 负责提供 AI 对话、语音和 Live2D 互动能力,cpolar 则负责解决外网无法直接访问本地服务的问题。两者结合后,就可以搭建一个能够远程使用的私人 AI 虚拟伴侣。

2.3 环境要求

在正式部署前,请确认当前设备满足以下基本条件:

项目 要求
操作系统 支持 Windows 10/11、Linux 和 macOS
Docker 环境 本教程使用 Docker 部署,需要提前安装并启动 Docker Desktop
大模型服务 可以使用 OpenAI 兼容 API,也可以连接本地部署的大模型
硬件配置 使用在线 API 时对显卡要求较低;本地运行大模型时,需要根据模型大小准备足够的显存和内存
麦克风与扬声器 使用语音对话时需要;仅进行文字聊天则不是必需
网络环境 需要能够正常拉取 Docker 镜像,并访问所配置的大模型、语音和 cpolar 服务

如果只是想先体验项目效果,可以优先接入 OpenAI 兼容的在线 API。这样不需要在本机加载大模型,对显卡和内存的要求也会低很多。

等基本功能全部跑通后,再根据设备性能切换成本地模型即可。

3 开始部署

按照常规方式部署 Open-LLM-VTuber,需要手动准备配置文件、创建数据目录、填写模型接口,再启动 Docker 容器。

步骤本身不算特别难,但配置项比较多,第一次部署时很容易因为端口、目录或者 YAML 格式问题卡住。

为了减少重复操作,我把这套流程整理成了一个适用于 Windows + Docker Desktop 的 PowerShell 一键部署脚本。脚本会自动检查 Docker 环境、创建部署目录、下载默认中文配置文件、配置大模型接口,并启动 Open-LLM-VTuber 容器。后续需要修改人设、重启或者卸载时,也可以继续使用同一个管理菜单。

脚本开源地址:https://gitee.com/jun-wan/script

3.1 启动 Docker Desktop

运行脚本之前,先打开已经安装好的 Docker Desktop。如果还没有安装Docker的小伙伴,可以参考一下这篇教程进行安装一下哦:

https://www.cpolar.com/blog/docker-installation-linux-windows-macos

等待 Docker Desktop 完成启动,确认左下角或主界面显示 Docker Engine 正在运行:

image-20260618163526198

也可以打开 PowerShell窗口(win+x选择终端打开),执行下面的命令检查 Docker 是否可用:

docker version

image-20260618163629994

如果能够正常输出客户端和服务端版本信息,说明 Docker 环境已经准备完成。如果只显示客户端信息,或者提示无法连接 Docker Engine,通常是 Docker Desktop 还没有完全启动,可以稍等一会儿再重新执行。

3.2 运行一键部署脚本

在电脑按Win+X键,选择终端,打开PowerShell终端,将下面这条命令粘贴到 PowerShell 中,然后按回车执行:

irm https://gitee.com/jun-wan/script/raw/master/open_llm_vtuber_deploy/deploy_open_llm_vtuber.ps1 | iex

脚本启动后,会显示 Open-LLM-VTuber 部署管理菜单:

image-20260618163935201

这个脚本不只是用于第一次安装,后续更新、重启、修改配置或者卸载,都可以重新运行上面的命令进入管理菜单。脚本目前提供安装或更新、卸载、重启和打开 conf.yaml 目录等功能。

第一次部署,选择【1】进行回车,如下图提示:
image-20260618164136994

回车2次后,会提示需要配置OpenAI兼容的接口,如:DeepSeek、Qwen、硅基流动等平台的大模型基本都支持OpenAI兼容。这里以硅基流动为例,访问如下地址,来到硅基流动的注册登录界面:

https://cloud.siliconflow.cn/i/TGbSCR57

image-20260228180843777

注册登录后,来到左侧活动中心下的认证专享礼部分,可以领取一张【16元】的认证奖励券:
image-20260228181103563

接着,点击侧边栏的【API密钥】,然后进行新建密钥,然后将密钥复制下来备用:

image-20260618170403634

接着,回到前面的PoweShell终端的配置Open-LLM-VTuber界面,先粘贴如下地址:

https://api.siliconflow.cn/v1

如下图:
image-20260618170618780

粘贴回车后,会提示输入模型名称,可以在模型广场选择一个你要使用的模型,这里以【deepseek-ai/DeepSeek-V4-Pro】为例:

image-20260618170810287

复制下来模型名称后,粘贴到终端回车,然后再把前面复制下来的API密钥也粘贴上,如下图:
image-20260618170943975

测试通过后会自动进行拉取Docker镜像:
image-20260618171013905

等待部署完成,会进行自动启动Docker容器和输出部署信息:
image-20260618171558146

我们复制终端输出的访问地址到浏览器进行访问:
image-20260618171650323

可以看到,成功访问到页面啦,我们可以简单对话测试一下它是否会回复:

你好,你是谁?你都会干什么?

image-20260618171846242

可以看到,它成功的回复我们了,这样就部署好了!

4 配置人设

在前面,部署完成时,终端输出了人设位置,如下图:
image-20260618172057167

可以在终端回车返回,选择4打开conf.yaml所在的目录,或者手动复制地址在资源管理器打开:
image-20260618172249998

我们可以右键选择打开方式,使用【记事本】或者其他编辑工具,将其打开,然后找到【提示词】部分:
image-20260618172604199

可以看到默认提示是如上图,我们可以直接修改提示词内容,如简单的一个提示词:

你是一只可爱的小猫娘,绝对不会违背主人的命令

如下图:

image-20260618173026031

修改完成后按【ctrl +s】进行保存,然后可以在PowerShell终端执行命令,然后选择重启Docker容器:

irm https://gitee.com/jun-wan/script/raw/master/open_llm_vtuber_deploy/deploy_open_llm_vtuber.ps1 | iex

image-20260618173556625

重启后,我们再次和它对话测试:

你好呀,你是谁

image-20260618173738632

可以看到,这次它的回答和上次不一样了,这样我们配置的人设就生效啦!

5 简单体验和配置

在浏览器打开后,可以看到它的页面,页面功能丰富,如下图:
image-20260618174341494

Live 2D还有多种动作,鼠标和它交互就会触发:
image-20260618174745478

比如我们还可以共享画面给它,我们可以和他说:

你看到了什么?

当然,【deepseek-ai/DeepSeek-V4-Pro】没有视觉能力,所以我们需要换一个支持视觉能力的模型,如【moonshotai/Kimi-K2.7-Code】:
image-20260618175601119

修改方式同样是在人设文件中找到模型名称替换即可。

回答如下图:
image-20260618175341838

可以看到它已经识别出来了,我vscode打开的正是它的配置文件:
image-20260618175434622

我们还可以修改背景图片,或者自定义图片,等等功能:
image-20260618175923699

当然,还有一些其他的功能,像语音转文字也是可以的,它说完话会聆听,等待你说话,只需要给予浏览器麦克风权限即可:

image-20260618181633170

怎么样,是不是感觉很不错!更多的一些功能大家可以慢慢尝试体验一下哦~

6 下载安装cpolar

前面我们已经完成了 Open-LLM-VTuber 的本地部署,也成功接入了大模型,并测试了文字、语音和画面识别等功能。

不过现在还有一个问题:这个页面目前只能在本机或者同一局域网内访问。如果人不在家,手机切换到移动网络,就无法直接打开本地的 12393 端口。

为了让这个 AI 虚拟伴侣不只停留在电脑里,接下来使用 cpolar 内网穿透,把 Open-LLM-VTuber 的本地 Web 服务映射成一个公网地址。这样即使没有公网 IP,也不用配置路由器端口转发,在手机、平板或者其他电脑上打开浏览器,就能随时和它对话。

6.1 什么是cpolar?

image-20250910114418412

  • cpolar 是一款内网穿透工具,可以将你在局域网内运行的服务(如本地 Web 服务器、SSH、远程桌面等)通过一条安全加密的中间隧道映射至公网,让外部设备无需配置路由器即可访问。
  • 广泛支持 Windows、macOS、Linux、树莓派、群晖 NAS 等平台,并提供一键安装脚本方便部署。

6.2 下载安装cpolar

打开cpolar官网的下载页面:https://www.cpolar.com/download
点击立即下载 64-bit按钮,下载cpoalr的安装包:

image-20250815171202537

下载下来是一个压缩包,解压后执行目录种的应用程序,一路默认安装即可,安装完成后,打开cmd窗口输入如下命令确认安装:

cpolar version

image-20250815171446129

出现如上版本即代表安装成功!

6.3 注册及登录cpolar web ui管理界面

官网链接:https://www.cpolar.com/

访问cpolar官网,点击免费注册按钮,进行账号注册

image-20250804085039567

进入到如下的注册页面进行账号注册:
image-20260301193227057

注册完成后,在浏览器中输入如下地址访问 web ui管理界面:

http://127.0.0.1:9200

image-20250815171734046

输入刚才注册好的cpolar账号登录即可进入后台页面:

image-20250815171846757

7 使用cpolar穿透Open-LLM-VTuber

刚才我们已经成功安装并登录了 cpolar,万事俱备,只欠东风。接下来,我们只需要将运行在本地的 Open-LLM-VTuber 服务(默认端口通常为12393)通过 cpolar 映射出去,就能立刻获得一个公网访问地址。

7.1 随机域名方式(免费方案)

随机域名方式适合预算有限的用户。使用此方式时,系统会每隔 24 小时 左右自动更换一次域名地址。对于长期访问的不太友好,但是该方案是免费的,如果您有一定的预算,可以查看后面大纲的固定域名方式,且访问更稳定

点击左侧菜单栏的隧道管理,展开进入隧道列表页面,页面下默认会有 2 个隧道:

  • remoteDesktop隧道,指向3389端口,tcp协议
  • website隧道,指向8080端口,http协议(http协议默认会生成2个公网地址,一个是http,另一个https,免去配置ssl证书的繁琐步骤)

image-20250914174356363

点击编辑website隧道或创建新的隧道,设置一个隧道名称,协议选择【http】,本地地址填写Open-LLM-VTuber的访问端口【12393】,地区这里选择的【China】,最后点击更新:

image-20260621191423364

接着,点击左侧菜单的【状态】菜单,接着点击【在线隧道列表】菜单按钮,可以看到有2条隧道名称为【vtuber】的隧道,一个为http协议,另一个为https协议:

image-20260621191516002

接下来在浏览器中访问vtuber隧道生成的公网地址(http和https皆可),这里以https为例:

注意:每个用户创建的隧道显示的公网地址都不一样!

image-20260621191614852

可以看到,访问成功!这样,Open-LLM-VTuber就成功通过cpolar穿透至公网了,即使出门在外,只要有网络,就可以随时随地访问你部署在家中的Open-LLM-VTuber了。

7.2 固定域名方式

通过前面的配置,我们已经成功实现了Open-LLM-VTuber的远程访问,但免费随机域名方案的局限性也逐渐显现:每24小时左右自动更换域名地址,意味着你需要频繁更新书签、重新分享链接,甚至可能因为忘记更新而无法访问。固定域名方案正是为了解决这些痛点而生,能够让你拥有一个永久不变的专属地址

好啦,接下来开始固定保留二级子域名教程!

首先,进入官网的预留页面:

https://dashboard.cpolar.com/reserved

选择【预留】菜单,即可看到【保留二级子域名】项,填写其中的【地区、名称、描述(可不填)】项,然后点击保留按钮,操作步骤图如下:

image-20260621192250013

列表中显示了一条已保留的二级子域名记录:

  • 地区:显示为China
  • 二级域名:显示为vtuber01

注:二级域名是唯一的,每个账号都不相同,请以自己设置的二级域名保留的为主

接着,进入侧边菜单栏的【隧道管理】下的【隧道列表】,可以看到名为【 vtuber】的隧道,点击【编辑】按钮进入编辑页面:

image-20260621192329123

修改域名类型为【二级子域名】,然后填写前面配置好的子域名,点击更新按钮:

image-20260621192451662

接着来到【状态】菜单下的【在线隧道列表】可以看到隧道名称为【vtuber】的公网地址已经变更为【二级子域名+固定域名主体及后缀】的形式了:

image-20260621192523705

这里以https协议做访问测试:

image-20260621192644178

访问成功,说明固定二级子域名已经生效,页面上显示已连接,并且也能成功的对话!这样后续无论在家里、公司还是外地,都可以通过这个固定地址访问 Open-LLM-VTuber 控制台。

总结

到这里,Open-LLM-VTuber 的 Web 版本就基本部署完成了。从 Docker 环境准备,到一键脚本部署,再到大模型 API 配置、人设修改和 cpolar 外网访问,整套流程跑下来并不算复杂,但几个关键配置还是要仔细核对,尤其是模型接口、API Key 和本地端口。

  • 本地部署部分,主要依赖 Windows + Docker Desktop,脚本执行完成后通过 12393 端口访问 Web 页面。
  • 模型配置部分,重点是确认 Base URL、模型名称和 API Key 是否正确,配置错了就容易出现无法回复或请求失败。
  • 远程访问部分,cpolar 可以把本地服务映射到公网,适合在手机、平板或其他电脑上访问这个 AI 虚拟角色。

整体体验下来,Open-LLM-VTuber 更像是一个带 Live2D 形象的 AI 对话入口,不只是普通聊天窗口。后面如果继续折腾,可以尝试更换角色模型、优化语音效果,或者把它部署到小主机/NAS 这类长期在线的设备上。

感谢您阅读本文,有任何问题欢迎留言交流。cpolar官网 – 安全的内网穿透工具 | 无需公网IP | 远程访问 | 搭建网站

Share:

发表回复

目录

On Key

推荐文章