---

title: 從小說到 codebase，AI 都在遇到同一堵牆：context window 不夠，必須外接結構化記憶 date: 2026-04-08 source: https://www.threads.com/@haochianlai/post/DW2mVKiD0tO category: articles tags:

• Knowledge Graph
• Structured Memory
• Context Window
• AI Writing
• Codebase Understanding
• Graphify created: 2026-04-08 updated: 2026-04-08

---

從小說到 codebase，AI 都在遇到同一堵牆：context window 不夠，必須外接結構化記憶

概要

這則 Threads 很有意思，因為它把兩個看似完全不同的場景——長篇小說生成 與 codebase understanding——收斂到同一個根本問題：

context window 永遠裝不下完整歷史，AI 要穩定做長時程工作，就必須有結構化的外部記憶。

作者描述自己用 知識圖譜（knowledge graph） 讓 AI 寫長篇小說，解決了幾個典型痛點：

• 角色不會失憶
• 伏筆不會斷線
• 世界觀中的數字、設定、關係能保持一致

同時，他也看到 Safi Shamsi 的 Graphify 在用同樣思路做 codebase understanding。兩者雖然分屬內容創作與軟體工程，但指向同一個本質： 不是模型不夠聰明，而是缺了一層可被維護、查詢與追蹤依賴的記憶結構。

這篇真正的重點

1. 長篇任務的失敗，常不是推理不夠，而是記憶結構不對

很多人第一直覺會把 AI 長篇小說寫不好，歸因於：

• 模型不夠強
• context 太短
• prompt 不夠完整

但作者指出的其實是更根本的問題：

如果系統沒有把角色關係、世界設定、時間線、伏筆依賴、已發生事件等資訊外部化，模型每次其實都在用有限上下文重新猜。

於是就會出現：

• 角色性格漂移
• 已經講過的設定被推翻
• 支線忘記收
• 數值與規則前後不一致

這個問題在 codebase 也一樣：

• API 關係忘了
• 模組邊界混掉
• 歷史決策上下文遺失
• 相依影響範圍判斷錯誤

換句話說，創作和工程其實共享同一種長時程一致性問題。

2. Knowledge graph 的價值，不只是存資料，而是維持關聯

這篇最值得 Allen KB 記的點，是它 implicitly 強調了一件事：

真正重要的不是把資料塞進外部記憶，而是把「關係」也結構化。

在小說裡，關係包括：

• 誰跟誰有什麼關係
• 某個事件引出了哪些伏筆
• 哪些世界規則限制了角色行為
• 哪個數字或設定在哪裡被引用過

在 codebase 裡，關係包括：

• 哪個模組依賴哪個模組
• 哪個函式影響哪條業務流程
• 哪段設計決策來自哪個歷史背景
• 哪些改動可能破壞哪些地方

這就是 knowledge graph / structured memory 真正有力量的地方： 它不只是幫你記住節點，還幫你記住節點之間的依賴。

3. 「更長 context」不是終局，「外接記憶層」才是

這篇最有洞察的一句，其實可以收斂成：

當 context window 裝不下所有歷史時，你不該只期待更大的 window，而應該設計更好的 memory substrate。

這點很重要，因為產業很容易把問題都推給上下文長度：

• context 不夠長 → 開更長
• 還不夠 → 再開更長

但長 context 只能延後問題，不能從根本解決：

• 哪些內容應該保留？
• 哪些關係是高優先級？
• 哪些歷史需要被持續引用？
• 哪些設定改了，哪些地方要跟著更新？

這些問題都不是 token 數量能自己解決的。

為什麼這跟 Graphify 很像

作者提到的觀察很準：自己在小說場景做的事，和 Graphify 在 codebase understanding 做的事，其實是同一類架構設計。

兩者共同點都在於：

• 把原本散落的上下文抽出來
• 組成可檢索、可維護的圖結構
• 讓模型不必每次重讀整個歷史
• 讓「一致性」從 prompt 技巧變成系統能力

這個 insight 很重要，因為它意味： knowledge graph / structured memory 不是某個垂直領域的 hack，而是通用型 AI 系統設計模式。

對 Allen / AI infra 的啟發

這篇真正值得吸收的，不只是「知識圖譜很好用」，而是它再次驗證一條越來越清楚的趨勢：

未來高品質 AI 系統，會有至少兩層：

1. 生成／推理層：模型本身
2. 記憶／關係層：structured memory / KG / artifact graph / belief graph

只有第一層時，模型很會說，但長時程任務容易漂。 有第二層時，模型開始能：

• 持續追蹤角色、設定、模組、需求
• 在多輪、多日、多 agent 協作中維持一致性
• 對變更做 dependency-aware 更新

這不只適用於小說和 code，也適用於：

• research
• product planning
• business ops
• long-running agents
• personal AI memory systems

我的判斷

值得注意的點

1. 這篇把小說創作與 codebase understanding 串到同一個本質問題，非常有啟發性
2. context window 問題本質上是記憶結構問題，不只是容量問題
3. knowledge graph 的價值在於維護關係與依賴，不只是存節點
4. structured memory layer 很可能是下一代 agent 系統的標配

應持續觀察的點

1. 這類系統如何處理更新、矛盾與過期資訊
2. KG / graph memory 在不同場景下的最佳粒度如何設計
3. 寫作、程式碼、研究等不同 domain 是否能共用同一套 graph substrate
4. 這些 graph-based systems 最終會走向 product feature、middleware，還是新的 infra layer

一句話總結

這則 Threads 最值得記錄的，不是「有人用知識圖譜寫小說」，而是它揭示了一個更大的系統設計真相：當 AI 面對長時程、一致性要求高的任務時，真正缺的不是再多一點 context，而是一層可查詢、可維護、可追蹤依賴的 structured memory。