四大场景全覆盖:语音与文字的双向奔赴
麦克风用于翻译“自己语音”,进程捕获用于翻译“别人语音”;打字面板用于翻译“自己文字”,拍照识别用于翻译“别人文字”。用一套工具,彻底打通你在 VRChat 中可能遇到的所有跨语言交流链路。
VoiceLinkVR
|
VRCLS
VRCLS (VRChat LinguaSync) 完美覆盖了翻译自己语音、翻译别人语音、翻译自己文字、翻译别人文字四大核心交流场景。不仅提供 1秒极速上屏的同声传译体验和 VR 掌心面板,更内置了 10 秒零样本声音克隆,既是字幕机,更是你的专属 AI 变声器。
开源演示声明:本项目仅供学术交流与技术演示,核心算法已在 GitHub 开源。本站仅作为开源项目的演示实例(Demo),不提供任何商业化服务。
麦克风用于翻译“自己语音”,进程捕获用于翻译“别人语音”;打字面板用于翻译“自己文字”,拍照识别用于翻译“别人文字”。用一套工具,彻底打通你在 VRChat 中可能遇到的所有跨语言交流链路。
强大的云端算力调度让识别与翻译的总延迟压至极低,约 1 秒即可上屏。除了可选的本地麦克风识别模型外,识别、翻译、TTS 与声音克隆主要由服务器承担,不占用本地性能资源。无论是你说话还是听人说,都支持最多 3 种外语并发输出。
深度接入 Qwen/MOSS/OmniVoice 声音大模型。只需 10 秒参考音频,即可零样本克隆出你的专属音色作为变声器使用。对于无言势和口障玩家,打字也能用属于“你自己”的声音带有情感地读出来。
麦克风与游戏声音分离处理。支持 Win10+ 进程音频捕获,精准锁定 VRChat 声音,防止别人的回音被二次翻译。内置可独立校准的 Silero VAD 算法,彻底告别环境底噪和呼吸声干扰。
同传结果可一键推送到 VRChat 的头顶气泡 (OSC Chatbox),或直接悬浮在 SteamVR 的掌心/手背上。在掌心即可调节面板透明度、放大字体,或者利用手势快捷开关麦克风。
不仅能听懂,还能看懂。遇到看不懂的世界标牌或外国玩家的手写板,只需切出游戏相机拍一张,系统会自动捕获并提取文字双语翻译,立刻投递回你的掌心面板。
不需要懂复杂的底层逻辑,VRCLS 帮你把采集、降噪、翻译、合成到游戏内显示的流程全自动串联。
分流抓取麦克风(自己语音)、游戏进程(别人语音)、键盘(自己文字)与游戏相机(别人文字)。
独立校准的 AI VAD 模型过滤掉呼吸声和背景底噪,精准切分每一句话。
调度云端算力,极速转出文字并最多同时翻译成 3 国语言。
按照你设定的模板,将翻译结果推送到游戏头顶的气泡框,或你的 VR 掌心。
文本送入 AI 变声器,用你克隆的音色在语音频道里带有情感地播放出来。
VRCLS 面向需要在 VRChat 中持续交流、展示、创作或调校语音工作流的人提供企业级的稳定性保障。
在国际大厅里无缝交流。对方说的话、你要表达的意思,以极速的同传延迟转换成字幕与语音,让你交友无国界。
无需因为物理环境受限或声带障碍而停止表达。利用键盘打字,结合强大的 AI 声音克隆,在虚拟世界里用你的“专属嗓音”聊天。
全面开放的 OpenAI 接口兼容、OSC 状态监听、变声器预设管理,为您主导 VRChat 采访、直播、话剧演出提供高自由度的自动化辅助。
除了可选的本地麦克风识别模型外,识别、翻译、TTS 与声音克隆等高算力任务都交由服务器承担,不占用本地性能资源,尽量减少对 VRChat 帧率的影响。
本项目为开源公益项目,云端识别与语音合成产生高额算力成本。我们通过社区众筹维持运行,支持者的捐赠将全额用于支付服务器运维与开发。作为回馈,我们会为众筹贡献者分配更多的测试算力资源。
仪表盘展示实时请求统计与算力池状态。您可以清晰查看由捐赠补贴产生的资源配额使用情况,共同监督众筹资金的合理用途。
开箱即用,支持一键加载默认配置,告别繁琐的调试。
获取最新版的 C# 重制客户端。通过浏览器一键安全登录,首次启动会自动为你准备好所需的 AI 模型资源。
在设置里选好你的麦克风。看着音量条随便说两句话,校准一下收音底线,选定你要翻译的语种,同传管线就通了。
在 VRChat 中开启 OSC 功能(环形菜单)。如果你用的是 PCVR,勾选 SteamVR 面板,直接在掌心查看翻译和操作开关!
免费公共接口设有频率限制。如果您希望支持本项目长期运行,欢迎加入众筹;我们会为维护者提供更高频率的测试权限,以感谢对开源公益项目的支持。