---

title: "Taalas AI 晶片：把模型燒進硬體、15,000 tokens/sec、$300-400 一張——但 context 只有 6K" date: 2026-03-29 author: brewbytes.ai source: https://www.threads.com/@brewbytes.ai/post/DWbfP4mD2qV category: threads tags:

• AI 晶片
• 推論加速
• 本地 AI
• 硬體
• Taalas created: 2026-03-29 updated: 2026-03-29

---

Taalas AI 晶片：把模型燒進硬體、15,000 tokens/sec、$300-400 一張——但 context 只有 6K

原文摘要

AI 晶片公司 Taalas 的技術進展更新：把 AI 模型直接燒錄在晶片裡，推論不需要讀取權重，速度達到每秒 15,000 tokens。

最新進展

• 已跨越小型模型門檻，正朝中型模型邁進
• 預計今年春季推出針對 Qwen 3.5-27B 的擴充卡
• 中型模型目前跑到每秒 10,000 tokens
• 售價 $300-400 美金
• 適用標準 PC 插槽，即插即用
• 100% 離線，不需讀取權重

實測體驗

作者親測 Taalas 的 chatbot demo：

• 速度確實非常快
• 缺點：上下文窗口只有約 6,000 tokens

留言區重要回饋

Context 太小是致命問題

@taiwania.republic.2024：

「快是快但 context length 太小，你只會覺得龍蝦對話在鬼打牆。龍蝦（Claude Code）最低要求是 16,000 context length，6k 你連開都開不起來。」

@weichih.ting：

「有人把聊天介面包裝成 API 來用，但上下文太短，像沒專注力的過動兒。」

作者回應

6K context 只是目前 web chatbot 的限制，量產版本應該可以提升。

類比

@donald_don_lcl：「有點像以前的 3dfx Voodoo」 @alan.alan___：「跟早期的象棋外掛智能卡或 TTS 語音模組異曲同工。惡夢不至於，但廉價智能機大概要氾濫了。」

SLM 觀點

@photodesignch：未來會分成雲端 LLM 和地端隨身 SLM 兩大類。叫電腦關燈不需要 LLM，SLM 內嵌在音響裡就好了。

⚠️ 待驗證的點

1. 15,000 tokens/sec 是否在完整 context 下測量？ 如果 context 只有 6K，速度自然會高很多
2. 「燒錄」的具體含義？ 這更像是 FPGA/ASIC 方案，權重固化在硬體中。但這也代表模型無法更新——換模型就要換晶片
3. 中型模型 10,000 tokens/sec 的實際品質如何？ Qwen 3.5-27B 的量化程度、精度損失目前沒有第三方驗證

核心觀點

概念有趣但限制很明顯

速度快但 context 太小是本質問題：AI Agent 和長對話場景需要的不只是速度，而是能記住足夠多的上下文。6K tokens 在 2026 年幾乎不可用。

模型固化在硬體中代表沒有更新彈性。模型迭代速度這麼快，買一張只能跑特定模型的卡，六個月後可能就過時了。

$300-400 的價格確實很香，但要看它最終能支援多大的 context window。如果能做到 32K+，就真的值得關注。