標籤：local-ai

SpeakoFlow：跨平台、MIT 授權的本機語音輸入與桌面 AI 助理

SpeakoFlow 是以 Tauri 2、Rust、whisper.cpp／Parakeet 打造的跨平台桌面語音工具，語音辨識可完全在本機執行，支援 Windows、macOS、Linux，並以 MIT 授權開源。它也能接本機或雲端 LLM、螢幕視覺、TTS 與個人記憶；但若啟用雲端模型或螢幕視覺，相關資料仍會送往使用者選擇的供應商。macOS 版本目前未經 Apple 簽章，安裝時需額外處理 quarantine。

pii-guard：台灣在地化、可逆的繁中個資去識別化工具

pii-guard 是 MIT 授權的台灣在地化去識別化工具，以 Presidio、CKIP BERT NER 與台灣 Regex 在本機辨識個資，輸出去識別化文件與可逆對照表，再交由雲端 AI 處理；本文整理實際能力、限制、威脅模型與企業導入判斷。

insanely-fast-whisper：本地 Whisper 轉錄加速工具，重點不是 TensorRT 而是 Transformers / Flash Attention

TechRitual 介紹 insanely-fast-whisper 作為 Whisper 語音轉文字加速工具；官方 GitHub 可核對它是 Vaibhavs10 維護的本地 CLI，核心堆疊為 Transformers、Optimum 與 flash-attn。官方 benchmark 稱 A100 上可用 Whisper large-v3 於 98 秒內轉錄 150 分鐘音訊；但原文提到 TensorRT 與 MIT 授權需修正：GitHub repo 顯示 Apache-2.0，PyPI metadata 顯示 MIT。

B站「賽博女友」Demo 的真正訊號：本地 speech-to-speech voice agent 已能跑在消費級 GPU

Angus 電科技的 Threads 介紹 B站創作者「一兄弟」以 Hugging Face speech-to-speech、Silero VAD、Whisper/Parakeet 類 STT、llama.cpp、本地 TTS 拼出純本地語音陪伴 Demo。查證 Hugging Face speech-to-speech：Apache-2.0、PyPI 0.2.11、GitHub 約 6,551 stars / 880 forks，README 定位為低延遲、模組化 VAD→STT→LLM→TTS pipeline，提供 OpenAI Realtime-compatible WebSocket API。RTX 3060 / 15GB 顯存等數字保留為 Threads/B站 Demo 宣稱，仍需實測延遲、中文效果與安全邊界。

Qwen3 2B VL + NVIDIA NeMo 工具的本地 Agent 傳聞：手機跑 AI Agent 的訊號，但數字需查證

Threads 稱使用 Karpathy autoresearch 與 NVIDIA NeMo tools，讓 Qwen3 2B VL agent score 在 5 小時內從 25% 提升到 96.9%，且 Qwen3 2B 只需約 1GB 顯示記憶體。此訊號指向小模型本地 agent 的可行性，但 exact benchmark / repo / 官方實驗尚未找到，應列為待查證觀察。

Microsoft Fara-7B：可本地部署的 7B Computer Use Agent 小模型

台灣中文字幕生成的關鍵：Subtitle Studio、Breeze ASR 25 與離線 ASR 工作流

Threads 推薦 Subtitle Studio AI 作為 Mac 離線字幕工具；官方來源顯示 Subtitle Studio 目前公開說法是本地 Whisper，而 Breeze ASR 25 則是 MediaTek Research 針對台灣中文與台英混用 fine-tune 的開源 ASR。這篇整理兩者的實務意義、採用測試清單與 caveat。

Gemma 4 QAT GGUF：把大型多模態模型推進一般筆電的本機推論門檻

Gemma 4 QAT GGUF 的價值不只在量化，而是在把多模態、長上下文與本機推論推到一般筆電/消費級 GPU 可測的範圍；新增 12B Instruct 在 16GB 顯卡、LM Studio、256K context 的社群實測補充。

0 成本 Hermes Agent 入門：免費模型、Messaging Gateway 與本地部署的真實取捨

一則 Threads 教學把 Hermes Agent 從 Ubuntu、本地安裝、NVIDIA 免費端點到 Telegram/LINE Gateway 串起來；真正值得保存的是低成本 Agent 部署的架構選項與限制。

claude-peers-mcp：讓多個 Claude Code session 在本機互相傳訊

claude-peers-mcp 是 MIT 授權的 MCP server，讓多個 Claude Code session 能在本機發現彼此、傳訊、交換工作狀態；適合多 agent 協作，但 README 使用 development channels 與跳過權限參數，導入時要控制風險。

OpenHuman：個人 AI 助理正在從聊天框變成長期記憶系統

OpenHuman 的重點不是「又一個聊天機器人」，而是把桌面 UI、118+ 整合、自動抓取、本機 SQLite memory tree、Obsidian vault 與模型路由組成一套長期理解工作脈絡的個人 AI 系統。

Rapid-MLX：Apple Silicon 本地 AI Engine 開始接近 Agent 工作流需求

Rapid-MLX 是針對 Apple Silicon 的本地 AI engine，基於 MLX 與 Metal/unified memory，主打 OpenAI-compatible API、prompt cache、tool calling recovery、reasoning separation 與多 agent harness 相容。真正價值不是單一速度數字，而是讓 Mac 本地模型更接近可用於 agent workflow。

Lucebox：讓 RTX 3090 重回戰場的不是新硬體，而是重寫推論軟體

Lucebox 是 Luce-Org 開源的 hand-tuned LLM inference hub，主張針對特定 consumer hardware 與模型家族重寫 kernel、speculative decoding、prefill 路徑。Megakernel、DFlash、PFlash 都指向同一件事：local AI 的瓶頸不一定是硬體太舊，而是通用 inference stack 沒有榨乾晶片。

NVIDIA Nemotron 3 Nano Omni：本地多模態 Agent 大腦開始商品化

NVIDIA Nemotron 3 Nano Omni 把文字、圖片、影片、音訊、OCR、語音轉錄、GUI 理解與工具調用整合成單一 30B-A3B MoE 模型，已可透過 LM Studio、Ollama、llama.cpp、vLLM、SGLang 等路徑使用；真正重點不是「又一個模型」，而是企業級本地多模態 Agent 的部署門檻正在下降。

Voicebox：本地語音克隆、全域聽寫與 MCP 語音輸出的開源 AI Voice Studio

Voicebox 是開源本地 AI voice studio，主打 clone any voice、generate speech、dictate into any app、讓 agent 用自有聲音說話；留言補充中文效果可優先測 Qwen3 TTS 1.7B。

Gemma4 26B-A4B 能不能撐起地端 AI Agent：從 DGX Spark + OpenClaw 壓測看開源小模型距離「全自動研究助理」還有多遠

這篇 Facebook 貼文用一個很務實的問題切入：把 Google 開源 Gemma4 26B-A4B 跑在 NVIDIA DGX Spark 上，再接進 OpenClaw，開源小模型到底能不能真的當 AI Agent 的大腦？焦點不再是聊天表現，而是它能否自主完成搜尋、分析、寫程式、畫圖、修錯與存檔等完整任務鏈。這代表地端 AI 的比較基準，正從「會不會回答」升級成「能不能穩定自治工作」。