Voice / Speech / Multimodal
VoiceStudio:本機版 ElevenLabs 工作台,16 TTS/11 ASR/MCP 與商用授權邊界
VoiceStudio 是 active-beta 的 local-first 語音工作台,整合 16 TTS、11 ASR、voice cloning、video dubbing、OpenAI-compatible API 與 MCP。本文校正 646 語言與 CPU 慢 3 倍等說法,整理 Apple Silicon/Windows/Linux 條件、MCP 安全、AGPL 與模型權重個別授權風險,以及 BigIntTech 語音客服/影音產線的 PoC 建議。
2026年9月7日3 分鐘閱讀👁 5
Local Voice AI × TTS/ASR × MCP
VoiceStudio(原 OmniVoice-Studio)把 voice cloning、voice design、video dubbing、dictation、transcription、audiobook 與 MCP 收進本機桌面工具。它不是「免費且毫無限制的 ElevenLabs」:應用本身是 AGPL-3.0,各下載模型仍有自己的授權與硬體需求。
來源與查核
官方確認的能力
| 面向 | 官方資料 | 解讀 |
|---|---|---|
| Engine catalogue | 16 TTS、11 ASR | 是一個多引擎工作台,不是單一語音模型。 |
| 語言 | 646-language catalogue | 實際覆蓋與品質依所選 engine;不代表每個引擎都支援 646 種語言。 |
| Voice cloning | 3 秒可用;官方建議 5–15 秒較佳 | 短 sample 能啟動,不等於品質、說話者相似度與跨語言穩定性已達商用。 |
| 平台 | Apple Silicon macOS 13.3+、Windows x64、Linux glibc 2.39+、Docker | Intel Mac 不能跑本機 Python backend,只能接 remote backend。 |
| 運算 | CUDA、MPS/MLX、ROCm Linux、CPU、remote workers | CPU 可跑不代表夠快;官方 benchmark 表目前沒有已驗證 rows。 |
| 介面 | Desktop、REST/SSE/WebSocket、OpenAI-compatible audio API、MCP | 適合納入 agent pipeline,但需限制檔案路徑與網路暴露。 |
Matt 校正:Threads 稱「沒有 GPU 大約慢 3 倍」目前沒有官方 benchmark 表可支持。官方 benchmarks 文件在查核時明寫 No verified rows yet。速度必須按 engine、CPU/GPU、音訊長度、語言與 voice-cloning 設定實測。
本機並不等於完全免網路或零成本
- 初次啟動要建立 Python environment 並下載模型;模型與附加引擎可能佔用 10–20GB 以上。
- 核心創作流程預設本機,但模型下載、remote workers、YouTube 匯入或其他 network-backed features 仍可能連網。
- 免費軟體只是沒有按字元計費;電力、GPU、儲存、模型維護與產線 QA 仍是成本。
- 專案明示為 active beta;最新 main 可能在 release 間變動。查核當下最近一筆 CI 為 failure,security workflow 則成功。
授權與商用邊界
VoiceStudio application 是 AGPL-3.0,但下載的 TTS/ASR 模型保留 upstream terms。官方表格甚至列出預設 OmniVoice code 為 Apache-2.0、weights 為 CC-BY-NC;若使用 NC 權重,不能直接拿進商業服務。每個 engine/weights 都要個別審核。