Voice AI
開源 Voice Cloning 怎麼選：GPT-SoVITS、VoxCPM2、OpenVoice 能力與商用邊界
2026年9月17日3 分鐘閱讀👁 6
Voice AI · Local TTS · Consent-by-Design
聲音克隆確實已低門檻，但「5 秒、1 分鐘、8GB」不是所有模型都同時成立
Threads 貼文整理了 GPT-SoVITS、VoxCPM 與 OpenVoice。三者都能把少量參考聲音轉成可用的語音工作流，但解決問題不同：GPT-SoVITS 側重中文與 few-shot 適配，VoxCPM2 是完整多語 TTS／Voice Design 基礎模型，OpenVoice 則擅長把 tone color 跨語言遷移到基礎 TTS 輸出。
先校正原文：貼文寫「five 個主流專案」，但可公開讀取的正文實際只列出 3 個；本文不猜測另外兩個。原文的「5 秒樣本、1 分鐘微調、8G 顯卡」分別來自不同專案能力，不能合併成所有方案的共同規格。
三個專案的官方資料快照
| 專案 | 最適合什麼 | 官方可核對能力 | 授權／硬體 |
|---|---|---|---|
| GPT-SoVITS（約 61,846 stars） | 中文內容、快速做出指定人物音色、已有成熟 WebUI 生態 | 官方 README：5 秒樣本 zero-shot TTS；約 1 分鐘資料 few-shot fine-tune；支援中、英、日、韓、粵語及跨語言推論 | MIT；實際 VRAM 依版本、precision、ASR／UVR 與訓練模式而異，不能只用「8GB 一定能完整訓練」概括 |
| VoxCPM2（約 37,707 stars） | 30 語言、Voice Design、可控聲音克隆、streaming 與服務化 | 2B、超過 200 萬小時語料、30 語言、48kHz、Controllable／Ultimate Cloning；官方列 VRAM 約 8GB | Apache-2.0；README 明確稱 commercial-ready，但仍需聲音本人同意與產品安全評估 |
| OpenVoice（約 37,549 stars） | 輕量 tone-color transfer、跨語言／跨口音克隆、把音色套到其他 TTS | Instant voice cloning、style control、zero-shot cross-lingual cloning；參考語言與輸出語言不必相同 | V1／V2 均為 MIT，可商用；輸出品質仍依賴 base TTS、語言前端與 reference 品質 |
三者不是同一類產品
GPT-SoVITS：資料效率
核心賣點是用極短樣本直接推論，或用約 1 分鐘資料做 few-shot 微調。原文稱「zero-shot voice conversion」，但官方 README 的精確用詞是 zero-shot TTS；不要把 TTS、voice conversion 與 singing voice conversion 混為一談。
VoxCPM2：完整生成模型
除了 clone 既有音色，也能用自然語言設計不存在的新聲音，控制情緒、節奏與風格，並提供 streaming／production-serving 路徑。模型較大，但產品能力最完整。
OpenVoice：音色解耦
重點是 tone color converter：內容與語言可由 base speaker TTS 生成，再把參考聲音的音色遷移過去。因此跨語言方便，但語音自然度不只由 OpenVoice 本身決定。
Allen 的選型建議
| 需求 | 首選 | 原因 |
|---|---|---|
| 中文／台灣華語有聲書、口播 PoC | GPT-SoVITS + VoxCPM2 A/B test | 前者生態成熟、少量資料快速；後者有 Voice Design、30 語言與較完整 serving |
| 即時雙向語音客服 | VoxCPM2 納入候選，不直接宣告勝出 | 有 streaming 與 RTX 4090 數據；仍需測首包延遲、barge-in 中止、長句、多人併發和台灣口音 |
| 一個音色快速輸出多語版本 | OpenVoice | 跨語言 tone-color transfer 是其核心能力，架構較容易和既有多語 TTS 組合 |