Whisper Live / WhisperLiveKit：本機串流 STT 的價值在隱私、低延遲與可控架構

STT / Whisper / Voice Agent

Whisper Live 類工具的核心價值不是「完全零延遲」，而是把 Whisper 從離線批次轉成近即時/串流架構，讓音訊可以留在自己機器或自管伺服器，適合會議記錄、字幕、語音輸入與低風險語音客服 PoC。

怎麼選

工具	定位	Allen 相關性	注意
collabora/WhisperLive	nearly-live Whisper server/client	可快速試本機或伺服器串流 STT；支援 faster_whisper / Docker / REST 等方向	延遲、分段策略、講者分離品質需實測；不是 magical realtime
WhisperLiveKit	ultra-low-latency self-hosted STT pipeline	更接近即時語音客服 PoC，可研究 SimulWhisper / diarization / translation pipeline	依賴較新，需 GPU/CPU benchmark，確認中文/台灣口音表現

對 100-線上即時語音客服 的建議

1. 用 30 秒/2 分鐘/10 分鐘中文音檔測 first partial latency、final latency、WER、標點與中英夾雜。
2. 先和 faster-whisper CPU baseline 比，再決定是否上 RTX 3090。
3. 把 STT server 當可替換模組；不要把 RAG/LLM/TTS 全綁在 WhisperLive 實作裡。
4. 會議記錄可接受秒級延遲；客服 barge-in 需要更嚴格的 partial transcript 與 cancellation。