載入中...
載入中...
整理 Threads 上 MacBook 本地部署 AI 賽博女友小雨的技術切片:FastAPI、Web Audio API VAD、faster-whisper CPU/int8、Ollama + Qwen3-Coder-30B-A3B Q3、F5-TTS-MLX 聲音克隆與獨立 Avatar 視覺層;轉譯為 BigIntTech voice-agent MVP 的架構啟示與倫理 caveat。
Threads 轉貼 Hermes v0.20 語音助手實測;查核 NousResearch/hermes-agent v2026.8.3 release,整理即時語音、barge-in、wake words、gateway voice notes、MCP 與本地/開源部署價值,以及對 Athena/Allen voice-agent 專案的啟示。
使用者貼文宣稱 Solaria-3 在 Hugging Face Open ASR Leaderboard private dataset track 拿 #2。實測 HF Space 當下顯示 gladia/solaria-3 主榜 rank #18、Private data tab Average WER rank #4,且 Private conversational / Avg US 有銅牌;Gladia 自家頁面則在多個內部/公開 benchmark 顯示 #1/#2。結論:Solaria-3 是值得語音客服 PoC 的強 ASR 供應商,但 #2 claim 需要保留口徑 caveat。
Angus 電科技的 Threads 介紹 B站創作者「一兄弟」以 Hugging Face speech-to-speech、Silero VAD、Whisper/Parakeet 類 STT、llama.cpp、本地 TTS 拼出純本地語音陪伴 Demo。查證 Hugging Face speech-to-speech:Apache-2.0、PyPI 0.2.11、GitHub 約 6,551 stars / 880 forks,README 定位為低延遲、模組化 VAD→STT→LLM→TTS pipeline,提供 OpenAI Realtime-compatible WebSocket API。RTX 3060 / 15GB 顯存等數字保留為 Threads/B站 Demo 宣稱,仍需實測延遲、中文效果與安全邊界。
AutoMoney|G大分享 Hermes / OpenCode / Marvis 語音對話 Skill:Agent 每 15 分鐘主動播報工作計劃、新聞、成效分析,使用者用嘴巴回覆;TTS 優先 Edge TTS,fallback Apple TTS。對 Allen 想要的 Kate 語音電話提醒與主動助理能力很有參考價值。
Open-LLM-VTuber 把 LLM、ASR、TTS、Live2D、視覺感知與桌面寵物模式整合成開源 AI companion;本文把它拆成 agent UI reference stack,並補上授權、隱私、成本與商業化 caveat。
Anam 主打 real-time AI avatars:persona 由 face、voice、LLM、system prompt 組成,透過 STT→LLM→TTS→face generation 形成可插嘴、可互動的數位人。這類產品的重點不是取代 HeyGen 生成影片,而是把 voice agent 加上一張即時反應的臉。
AssemblyAI Voice Agent API 主打單一 WebSocket、speech in / speech out、約 1 秒端到端延遲、JSON Schema tool calling 與每小時 4.50 美元定價。對語音 Agent 產品而言,核心取捨是:用整合式管線換更快上線與較低維運,或自組 ASR/LLM/TTS 換更高可控性。
Threads 貼文引用前 Twitch / Discord WebRTC 專家的批評:OpenAI 為 voice agent 重寫 WebRTC 可能方向錯了,因為 WebRTC 原本為通話保延遲、可丟包而設計;但 LLM prompt 更需要完整、可校正、可追溯的輸入。整理 OpenAI 官方 WebRTC rearchitecture、Pion / ICE ufrag / relay-transceiver split,以及 voice agent 平台選型真正該看的指標。
Voicebox 是開源本地 AI voice studio,主打 clone any voice、generate speech、dictate into any app、讓 agent 用自有聲音說話;留言補充中文效果可優先測 Qwen3 TTS 1.7B。