標籤：voice-ai

Hugging Face speech-to-speech：OpenAI Realtime 相容的本地語音 Agent 管線（全本地 caveat）

Hugging Face 的 speech-to-speech repo 是 Apache-2.0 的本機語音 agent pipeline，串起 VAD → STT → LLM → TTS，提供 OpenAI Realtime-compatible WebSocket。它可以 fully local，但預設 quickstart 仍用 OpenAI-compatible LLM API；若要完全本地，需要另跑 llama.cpp/vLLM/MLX-LM 等 LLM backend，並注意模型授權與 GPU/Apple Silicon/CUDA 相容性。

BlueMagpie-TTS：面向台灣口音與中英混合的開源語音合成模型

OpenFormosa BlueMagpie-TTS 是面向台灣口音與中英混合語境的開源 TTS 模型，保留 VoxCPM 聲學架構並換上 Barbet 文字語意模型；官方提供 GitHub、Hugging Face 模型與 Demo，但也提醒授權與人工審核邊界。

VoxCPM：開源語音 AI 從 voice cloning 走向可商用配音基礎建設

NVIDIA Nemotron 3.5 ASR：把語音辨識搬回本機的 0.6B 串流模型

NVIDIA Nemotron 3.5 ASR 是 600M 參數、支援多語言與串流輸出的 ASR 模型。它的價值不只是小，而是把低延遲、離線、可插入 agent pipeline 的語音輸入層變得更可部署；但 CPU、台語、雙語混雜與授權條款仍要另外測試。

Microsoft VibeVoice：長音檔 ASR、多角色 TTS 與即時語音 AI 的落地判斷

VibeVoice 是 Microsoft 開源語音模型家族：ASR 支援 60 分鐘長音檔；TTS 支援 90 分鐘與 4 speaker；Realtime 0.5B 主打串流 TTS。新增社群補充：它對一人工作室與多角色長篇音訊很有想像空間，但 voice cloning、商用與深偽風險必須按官方限制處理。

Dograh：把電話客服 Voice Agent 從黑盒 SaaS 拉回自架工作流

Dograh 是開源、可自架的 Vapi / Retell 替代方案，主打拖拉式語音代理流程、BYOK 模型供應商、STT/LLM/TTS 組合與電話整合；適合需要資料控制與流程透明度的客服語音 AI 原型。

OpenAI 低延遲 Voice AI 架構：WebRTC 能解規模問題，也暴露 Voice AI 傳輸層取捨

Threads 指向 OpenAI「Delivering low-latency voice AI at scale」。重點是 OpenAI 為 Realtime Voice AI 使用 WebRTC 並設計 relay + transceiver 架構來解 Kubernetes / UDP / session routing 問題；但 MoQ 社群也指出 WebRTC 的低延遲丟包策略、缺乏緩衝與 8+ RTT 握手，未必是 Voice AI 長期最佳解。

從 1,200 萬 token 到 MCP GA：AI 正在從能力展示轉向系統嵌入

這篇整理 Cheng 的 2026/05/10 AI 科技摘要：Subquadratic 的超長上下文、OpenAI 即時語音推理、Cursor Canvas、JPMorgan 將 AI 歸為基礎設施，以及 AWS MCP Server GA。耐看的重點不是單一新聞，而是 AI 正從「能做什麼」轉向「如何嵌入既有系統」。

OpenAI Realtime 語音模型拆成三個 SKU：對話、即時翻譯、串流轉錄各自產品化

整理 OpenAI 新一批 Realtime 語音 API：gpt-realtime-2、gpt-realtime-translate、gpt-realtime-whisper。重點不是單純語音升級，而是語音互動被拆成可計量、可替換、可組合的 API 基礎設施。