Agents / MCP / Skills
2026 RAG 的瓶頸前移：不是模型，也不只是檢索，而是文件解析與結構保留
ihower 分享 LlamaIndex Beyond RAG workshop 導讀，核心論點是 RAG 錯誤多半不是最後生成模型問題，而是文件解析、表格/圖表結構、chunk 粒度、reranking、agentic loop 與 structured query routing 的工程問題。本文整理對 Allen KB / Hermes RAG 架構的實務含義。
2026年7月26日1 分鐘閱讀👁 5
RAG / LlamaIndex / Document Parsing
2026 年 RAG 的重要轉向是：不要再把每個錯誤都歸咎於模型不夠強。很多企業 RAG 的失敗，早在文件解析、切塊、結構保留、圖表處理與 context consolidation 時就已經發生。
來源與查核
- Threads：ihower 分享 LlamaIndex Beyond RAG workshop 導讀
- 愛好 AI 工程 Blog：2026 年的 RAG 最新發展（2026-07-26）
- run-llama/llama_index：MIT；查核時 51,112 stars；repo description 為 document agent and OCR platform。
- LlamaParse 官方頁：AI document parsing software。
- Seven Failure Points When Engineering a Retrieval Augmented Generation System
- Adaptive-RAG、Speculative RAG
- 驗證標記：LlamaIndex Beyond RAG document parsing reranking CRAG
實務重點
| 層 | 常見誤判 | 2026 修法 |
|---|---|---|
| 文件解析 | 表格欄位、跨頁表、圖表、註腳被攤平成文字後，模型答錯被誤判為 hallucination。 | spatial text、OCR、LlamaParse/LiteParse、保留原圖與版面座標。 |
| 檢索/排序 | top-k 撈到但排序或截斷錯，答案沒進 prompt。 | 先撈廣，再用 cross-encoder / ColBERT / Voyage/Cohere rerank。 |
| 粒度 | 固定 chunk size 同時犧牲數字題與摘要題。 | 多粒度索引 + router。 |
| 結構化資料 | 把 JSON/表格硬丟 embedding，失去篩選、排序、聚合能力。 | 數字/清單/篩選 → JQ/SQL/Cypher；摘要 → vector retrieval。 |
| Agentic loop | 用迴圈掩蓋 retrieval bug。 | 先做 eval，頭部問題直線 pipeline 做對，再對長尾加 CRAG/Adaptive-RAG。 |
對 Allen KB / Hermes 的判斷
- Allen KB 的 Markdown mirror 是好基礎，但未來若加 PDF/簡報/表格，要先做 parse artifact，不是直接 embedding。
- 對報帳、保險、官方 PDF 這類資料，表格與欄位關係比純文字相似度重要。
- RAG pipeline 要保存 evidence object：來源、頁碼/區塊、解析器版本、圖表原始檔、時間戳、權限。
- 先建立 eval set：常問問題、數字題、跨文件題、圖表題、權限題；沒有 eval 的 agentic loop 只是把錯誤藏起來。