載入中...
載入中...
Threads 摘要 Gao 等人的 arXiv 2407.21059：Modular RAG 主張現代 RAG 已不是單純 retrieve-then-generate，而應拆成 module、sub-module、operator，並用 linear、conditional、branching、looping、tuning 等 flow pattern 描述。本文補上 arXiv 查證與 Allen / Hermes 知識系統架構啟發。
CodeNib 是 arXiv 論文提出的多視圖 repository context serving 系統，針對每個 commit 維護 lexical、dense、structural views，提供搜尋、符號導航與 bounded context，目標是降低 coding agent 重複探索與 token 成本。
arXiv 2607.24280 提出 Multi-Agent Protocol Distillation，將閉源老師模型的探索軌跡轉成任務類型、推理計畫與事實依據 JSON，再與 RL 目標共同訓練開源學生模型。
arXiv 論文 Tokenisation via Convex Relaxations 提出 ConvexTok：把 tokenizer construction 表述為 linear program，使用 convex optimisation 找更接近全局最優的 tokenization。論文摘要指出 ConvexTok 改善 intrinsic tokenisation metrics 與 language model bits-per-byte，下游任務改善則較不穩定，並可估計 tokenizer 距離目標最佳解有多遠。
Apple Machine Learning Research 的 NeurIPS 2025 論文用可控 puzzle environments 檢驗 Large Reasoning Models，提出三個複雜度區間：低複雜度標準 LLM 可能更好；中等複雜度 LRM 有優勢；高複雜度兩者都崩潰，且 LRM 會在仍有 token budget 時降低 reasoning effort。
CODA 將 Transformer 的 normalization、activation、residual update、reduction 等 memory-bound 周邊運算改寫成 GEMM-plus-epilogue programs，趁 GEMM output tile 還在 chip 上時完成計算，減少 global memory round-trip。真正啟發在於用受限 composable API 讓 GPU kernel 最佳化更可被 LLM / 工程師組合。
Threads 貼文提到 Meta 研究員的 arXiv 論文，主張 Lost in the Middle 在未訓練、無 positional encoding 前就已出現。本文整理論文證據：causal masking 形成開頭 primacy tail，residual connections 形成末尾 recency anchor，中間則是 factorial dead zone；這代表長上下文治理不能只靠調 RoPE 或塞更多 token。
論文 Synthetic Computers at Scale for Long-Horizon Productivity Simulation 提出不再只造 benchmark task，而是批量生成 user-specific synthetic computers，讓 agent 在完整檔案、文件、表格、簡報與模擬協作者中完成長期工作。這代表 agent 訓練的關鍵可能從題庫轉向能否批量造世界。