VoxCPM2 技術卡片：開源 TTS 正從 voice cloning 走向 voice design 與可控語音生成 | Allen 知識庫 | Allen 知識庫
AI Voice / TTS / Open Source
VoxCPM2：開源 TTS 從 voice cloning 走向 voice design
OpenBMB/VoxCPM2 是一個 tokenizer-free、diffusion autoregressive 的文字轉語音模型。官方資料顯示它是 2B 參數、Apache-2.0、支援 30 種語言、48kHz 輸出、Voice Design、Controllable Cloning、Ultimate Cloning 與 streaming。這篇保留 VoxCPM2 的技術事實，也補上社群實測常見的兩個判斷：中文自然度不等於台灣口音自然度；開源聲音複製能力越強，授權與防冒用治理越重要。
一句話版：VoxCPM2 的亮點不是「又一個可以 clone 聲音的 TTS」，而是把聲音生成拆成三種產品能力：文字捏聲音、短音訊複製音色、用文字控制情緒與語速。這會讓配音、虛擬角色、教學內容與客服聲音資產更容易產品化，但也同步放大冒名、詐騙與未授權聲音使用風險。
2026-06 社群補充：作為 VibeVoice TTS 缺口的替代層。新 Threads 來源把 VoxCPM 放在 Microsoft VibeVoice 的脈絡下解讀：VibeVoice ASR / Realtime 能力值得關注，但長篇 TTS code 曾因濫用問題被移除；VoxCPM2 剛好提供 Voice Design、Controllable Cloning、Ultimate Cloning 三種 TTS / voice cloning 模式，可作為有聲書、Podcast、多角色配音或 ComfyUI 工作流的候選。這個補充不改變本文結論：VoxCPM2 值得研究，但應先處理聲音授權、冒名風險、商用條款與品質 QA。
與 VibeVoice 的互補關係
VibeVoice 更像語音模型家族：ASR 解決長音檔轉錄，Realtime 0.5B 解決低延遲 TTS；VoxCPM2 則聚焦於高品質 TTS、文字捏聲音與聲音克隆。若要做「會議 → 摘要 → 多角色朗讀」或「有聲書 / 角色配音」，兩者是不同層，不是完全替代。
ComfyUI 工作流訊號
官方 README 的 ecosystem 已列出多個社群整合，包括 ComfyUI-VoxCPM、ComfyUI_RH_VoxCPM、ComfyUI-VoxCPMTTS、TTS WebUI、VoxCPM.cpp、ONNX、ANE 與 Rust reimplementation。這代表 VoxCPM2 正從模型 repo 擴散到創作者工具鏈。
官方定位
VoxCPM 是 tokenizer-free TTS，直接在連續語音表徵上生成，官方描述為 end-to-end diffusion autoregressive architecture，目的在於避開離散 tokenization 帶來的自然度與表現力限制。
模型規格
VoxCPM2 為 2B 參數，官方 README / model card 宣稱使用超過 2 million hours 多語語音資料訓練，輸出 48kHz 音訊，built on MiniCPM-4 backbone。
授權與可用性
GitHub repo 與 Hugging Face model card 標示 Apache-2.0；官方提供 GitHub、Hugging Face demo、ReadTheDocs 文件與 audio sample demo page。GitHub API 查詢時 repo 已超過 24K stars。
Voice Design：用文字捏聲音
不用 reference audio，只用自然語言描述聲音，例如年齡、性別、語氣、情緒、語速、沙啞感或角色設定，就能生成新聲線。這把 TTS 從「念稿」推向「角色聲音設計」。
Controllable Cloning：保留音色但可控風格
提供短 reference clip 後，模型可保留 timbre，再用文字指令控制 emotion、pace、expression。這對創作者很有吸引力，因為它不是只複製聲音，而是能把聲音帶進不同腳本與情緒。
Ultimate Cloning：接續式高擬真複製
官方說明中，Ultimate Cloning 需要 reference audio 與 transcript，讓模型從參考語音自然延續，保留 timbre、rhythm、emotion、style 等細節。這也是風險最高的能力，因為越像真人，越需要 consent 與使用邊界。
| 面向 | 官方資訊 | 採用時要確認 |
|---|
| 語言 | 30 languages，中文方言包含四川話、粵語、吳語、東北話、河南話、陝西話、山東話、天津話、閩南話 | 台灣華語口音未必自然；社群留言也指出仍可能有中國大陸捲舌/口音感 |
| 音質 | 48kHz studio-quality output，接受 16kHz reference 並透過 AudioVAE V2 輸出高品質音訊 | 實際品質仍取決於文本、prompt、reference audio、顯卡與推論設定 |
| 速度 | README 提到 RTX 4090 RTF 可低至約 0.3，Nano-vLLM / vLLM-Omni 加速可到約 0.13 | 這是硬體與 serving 條件相關的 benchmark lead，不應直接當成所有部署環境的保證 |
| 授權 | Apache-2.0，官方稱 commercial-ready | 商用前仍要確認聲音來源授權、肖像/人格權、客戶合約、平台政策與地方法規 |
社群補充：台灣口音是獨立問題。Threads 留言提到「感覺還是捲舌音，台灣人的口音還是有問題」，作者也回覆許多 TTS 多少仍有中國大陸口音。這是很實用的採用提醒：支援中文、粵語、四川話、閩南話，不代表就能自然產出台灣華語、台灣客服語氣或台灣品牌聲音。若要用在台灣產品，應把台灣語料、口音評測與真人聽感 QA 當成獨立門檻。
適合的產品場景
- 短影音、Podcast、YouTube、課程與遊戲角色配音原型。
- 企業內部訓練、文件朗讀、多語內容快速產製。
- 虛擬角色、AI companion、客服語音人格的概念驗證。
- 需要設計「不存在的品牌聲音」而非複製真人聲音的情境。
上線前的治理檢查
- 聲音來源是否有明確授權：reference audio、員工聲音、客戶聲音、藝人聲音都要分開處理。
- 輸出是否需要 watermark、metadata、審核紀錄或生成紀錄，方便追溯。
- 是否禁止冒名、詐騙、客服仿冒、政治人物仿聲、金融指令等高風險用途。
- 是否有敏感內容審核、拒絕策略與濫用回報流程。
- 商用時是否清楚揭露 AI 生成聲音，避免讓聽眾誤認真人授權或真人即時發話。
和既有 VoxCPM2 文章的關係：Allen KB 已有一篇從商業層分析 VoxCPM2 的文章，核心是「語音 AI 基礎能力 commodity 化，真正值錢的是產品整合、授權治理與工作流」。本文則保留官方規格、功能拆解、台灣口音 caveat 與採用檢查清單，作為技術卡片使用。
社群說法校正 · Tokenizer-Free 到底省略了什麼？
VoxCPM2 不是「文字完全不切 Token、直接吐波形」
Threads 貼文抓到正確的大方向：VoxCPM2 的價值在 tokenizer-free、連續語音表徵與 diffusion autoregressive 架構，而不只是參數量。但「傳統 TTS 把文字切成 Token，再逐個轉聲音；VoxCPM 完全不切 Token，直接從文字生成波形」是過度簡化。官方技術報告的 tokenizer-free，精確意思是不用外部的離散 speech tokenizer；文字端仍有 tokenizer 與語言模型流程，連續語音 latent 最後也要經 AudioVAE 解碼成波形。
| 社群說法 | 官方資料核對 | 較精確的理解 |
|---|
| 傳統 TTS 都是文字 Token 一個個轉聲音 | 不同 TTS 有 phoneme、字元、subword、離散 speech token、continuous latent、flow／diffusion 等多種設計 | 不能把所有傳統 TTS 簡化成逐 Token 拼接聲音 |
| VoxCPM2 完全不切 Token | 技術報告寫的是「without relying on any external discrete speech tokenizer」；Hugging Face 儲存庫仍包含 tokenizer.json 與 tokenization_voxcpm2.py | 它繞過的是外部離散語音 tokenizer，不是所有文字 tokenization |
| 直接從文字生成波形 | 官方描述為 diffusion autoregressive 模型產生 continuous speech representations，並使用 AudioVAE V2 解碼為 48kHz 音訊 | 較準確是「文字條件 → 連續語音表徵 → AudioVAE 波形」 |
| 所以斷句、情緒一定比較自然 | 官方主張 context-aware prosody 與 expressive synthesis，並提供 zero-shot／instruction-following benchmark；但結果依語言、輸入及 seed 而變 | 連續 latent 有助於保留韻律，但仍需真人聽感、WER/CER、延遲與穩定性實測 |
目前可核對規格
VoxCPM2 為約 2B 參數，使用超過 200 萬小時多語語音訓練，支援 30 種語言、9 種中文方言、Voice Design、可控 voice cloning、48kHz 輸出與 streaming。GitHub API 查核時為 37,689 stars；Threads 的 37,441 是接近但會隨時間變動的快照。
授權不是唯一商用門檻
GitHub 程式碼、模型權重與 Hugging Face metadata 均標示 Apache-2.0，商用再利用條件相對寬鬆；但被複製聲音的同意、人格權、資料來源、生成標示與詐騙防護仍須獨立處理。
延遲與硬體邊界
官方 README 報告 RTX 4090 標準實作 RTF 約 0.30，Nano-vLLM 約 0.13；另提供 vLLM-Omni、llama.cpp-omni、CPU／Metal／CUDA／Vulkan 路徑。這些是專案提供數字，不等於任何硬體與語言都能即時。
對即時語音產品的意義
VoxCPM2 值得列入本地 TTS 候選，但採用前要實測首包延遲、長句 streaming、標點與斷句、台灣華語、中英 code-switching、數字／地址／專有名詞、多人併發及 barge-in 後的中止速度。
真正值得看的架構差異：把語音壓成離散 token 很利於統一語言模型式建模，但量化可能犧牲細緻韻律；VoxCPM2 選擇 hierarchical continuous latent 與 diffusion autoregressive 路徑，目標是保留更連續的 timbre、rhythm、emotion 與 prosody。這是重要設計取捨，不是「有 Token 就不自然、沒有 Token 就一定自然」的二分法。
2026-10-13 新來源補充：Voice Design／克隆一致性與授權證據
追加 Threads @ai_triallab 的 DeYxWV6EVo-，貼文機器時間 2026-10-12T08:09:38Z；擷取日期為台北 2026-10-13。來源說 VoxCPM2 排 GitHub 趨勢第一、3.8 萬 stars、48kHz 且 Apache-2.0，可由文字描述生成聲線並複製短錄音。這些主張分開查核，不把熱度或一句好像真人當產品驗收。已保存正文、可見公開留言與 nearest-owning-post 原圖；只看到 carnby2000 問一致性，未見作者回答。公開留言 coverage 為 partial，不讀 DM。
第一方支持：三種生成模式不是同一個輸入
固定版 Hugging Face model card 支持 Voice Design 以自然語言設計聲線，範例把描述放在合成正文前的括號中，不需 reference audio；仍需要朗讀的正文。Controllable Cloning 提供 reference audio，配文字控制語速、情緒等；Ultimate Cloning 為 reference audio＋準確 transcript 的 audio-continuation，官方建議相同片段也作 reference_wav 以提高相似度。因此「丟一小段音訊就一比一複刻所有口癖」過度概括，不等於所有模式只需錄音。
一致性：官方明列需重試，不能保證一比一
model card Limitations 明示 Voice Design 與 Style Control 可能在不同生成間變動，建議生成一至三次取得想要的結果；語言表現依資料而異，很長或高度表現性輸入可能不穩。可固定有授權的 reference、transcript、seed 與推論參數，再評估跨句、跨段、跨情緒、跨語言音色漂移，但這是採用測試設計，不是本次完成的聲音品質測試。沒有盲聽、speaker similarity 或真人對照，本次無法證實幾乎聽不出真假。
48kHz 與速度的正確邊界
官方規格為約 2B 參數、30 語言、AudioVAE V2 16kHz reference encode／48kHz decode，約 8GB VRAM；48kHz 是輸出取樣率，不等整段音訊無噪音、無錯字、口音自然或真人錄音室實測。model card 的 RTX 4090 RTF 約 0.30／Nano-vLLM 約 0.13 是特定 serving 條件，不等首包延遲、端到端客服延遲或任意筆電都即時。這次沒有下載權重、安裝 runtime、呼叫 demo 或上傳真人音訊。
Code／weights 授權證據分開保存
GitHub 固定 README 明確說 weights 與 code 都在 Apache-2.0 下發行，repo LICENSE 原文已取得；固定 model card 的 license metadata 與 License 段也標 Apache-2.0、commercial use。HF 該版本沒有獨立 LICENSE 檔，直接讀 LICENSE 得 404，不能描述為在 HF 直接取得授權檔全文。商用許可不等被克隆者授權、資料集權利全面已審，也不授予未經同意冒名使用；官方 model card 禁止 impersonation、fraud、disinformation 並要求清楚標示生成內容。這是模型條款查核，不是個案法律意見。
版本、人氣與採用結論
repo stars 本次快照 39142；作者 3.8 萬是來源時點自報，不能作固定數。原圖顯示 repo/demo 說明與 #1 badge，未取得獨立歷史 Trending 排名；徽章不等音質認證。程式 SHA cce58a5b59303c9bd63d12f23afe6a49a4a80c59；模型卡 SHA 32279effe8c19989596f05d353d1447f51d9e915。對 Allen 即時語音產品，這仍是可控聲線 TTS 候選，先驗台灣華語、中英混讀、專名、首包／中止延遲與授權 reference 的跨段一致性，不能靠 48kHz 或一比一行銷詞上線。