Agentic Era 的新瓶頸：不是訓練模型，而是讓 Agent 長時間工作
Threads 貼文指出，Agentic Era 的基礎設施瓶頸會從模型訓練轉向長時間執行：files/RAG、context/memory、MCP tools、sub-agents 與 orchestration 會推高 RAM、CPU、storage 與 runtime compute 的重要性。
這篇 Threads 的核心 thesis 很適合放進 AI infra 觀察：Agentic Era 的 bottleneck，會從「訓練模型」逐步轉到「讓 agent 長時間工作」。
Training Era 的基礎設施敘事比較單純：model weights + data + GPU。市場追的是參數量、語料、training compute、GPU cluster、HBM、networking。這套敘事仍然重要，但它主要描述的是「把模型訓練出來」。
Agentic Era 的問題不同。Agent 不是一次 inference 結束，而是會長時間跑任務、反覆讀資料、呼叫工具、維持狀態、產生中間檔、派生子任務，甚至在背景持續監控與修復。這讓基礎設施需求從單純 XPU / GPU，延伸到 RAM、CPU、storage、database、queue、cache、sandbox、tool runtime 與 orchestration。
原貼文列出的幾個 agent workload 很關鍵：
- 讀 files / RAG
Agent 要處理大型 repo、文件庫、合約、log、設計文件與歷史任務資料。這不只是 embedding / vector DB 的問題，也包含大量檔案 I/O、索引更新、metadata、權限檢查、rerank、cache 與 source citation。
- 維持 context window / memory
長任務需要保留工作記憶、任務狀態、決策紀錄、已嘗試方案、工具結果與中間 artifacts。這些資料不一定都能塞在模型 context 裡，會外溢成 memory store、session DB、artifact storage 與狀態管理系統。
- 透過 MCP call tools
MCP / tool use 讓模型從純文字生成變成可操作系統。每次工具呼叫背後可能是 shell、browser、database、Git、cloud API、文件系統或第三方 SaaS。這會吃 CPU、network、latency budget、rate limit，也會帶來 sandbox 與權限隔離需求。
- 跑 sub-agents 和 orchestration
單一 agent 不夠時，會拆成 planner、coder、reviewer、tester、researcher 等多個 sub-agent。這種 orchestration 會增加並發、排程、資料共享、任務恢復、觀測性與成本控制需求。
所以最近 storage 和 CPU 板塊的邏輯，不只是「AI training capex 外溢」。更精準的說法是：agent workload 本身正在改變 AI infra 的需求曲線。
如果 Training Era 的核心問題是「如何把更多 token、更大模型、更長時間的訓練塞進 GPU cluster」，Agentic Era 的核心問題會變成：
如何讓大量 agent 安全、便宜、可觀測、可恢復地長時間執行？
這會帶出幾種新瓶頸：
一、runtime compute
Agent 需要持續執行工具、跑測試、解析檔案、操作瀏覽器、查資料庫、產生報告。很多步驟不一定吃 GPU，反而吃 CPU、記憶體、磁碟與網路。
二、state 與 memory infra
長任務一定需要外部狀態。未來 agent 平台的差異化不只在模型，而在任務狀態如何保存、壓縮、檢索、回放與審計。
三、artifact storage
Agent 會產生大量中間成果：patch、log、截圖、測試報告、trace、爬蟲輸出、摘要、向量索引、臨時資料集。這些 artifacts 是 agent 可驗證性的基礎，也會推高 storage 需求。
四、orchestration / queue / scheduler
當 agent 從單次 chat 變成背景 worker，排程、retry、timeout、依賴管理、併發限制與失敗恢復會變成核心系統能力。
五、observability
長時間 autonomous agent 必須可觀測。企業不只要最終答案，還要知道它讀了什麼、做了什麼、呼叫了哪些工具、花了多少錢、哪一步失敗、是否越權。
這篇貼文最有價值的地方，是提醒投資與產品判斷不要只盯 GPU。GPU 仍然是模型能力的核心，但 agent 普及後，新的價值會分散到 supply chain 的其他層：CPU server、DRAM、SSD / enterprise storage、database、workflow engine、sandbox、browser automation、MCP server、observability、task queue、agent memory。
我的判斷：這也很貼近 BigIntTech / Hermes 的實際方向。真正讓 agent 能用起來的，不只是換更強模型，而是整套 runtime：工具、記憶、檔案、排程、驗證、權限、恢復、知識庫與多 agent 協作。這些系統層能力會比單純 prompt engineering 更有護城河。
一句話總結：Training Era 看誰能訓練更大的模型；Agentic Era 看誰能讓大量 agent 穩定、長時間、低成本地把工作做完。