標籤：rag

DSPy：不是不用 Prompt，而是把 LLM 流程變成可編譯、可評估、可優化的程式

DSPy 是源自 Stanford NLP、採 MIT 授權的 Python 框架，以 Signature、Module、Metric 與 Optimizer 將 LLM 應用從手工提示詞提升為可測量的程式。它能自動搜尋 instructions、few-shot demos，並在模型支援時微調 weights；但前提是先有代表性資料、可靠 metric、獨立 validation/test set 與足夠優化預算。

Redis LangCache：用語意快取降低 LLM 成本與延遲，導入前先管好命中邊界