AI Agent / Search Infrastructure
隱私免費開源 AI 搜尋系統為什麼難維護：SearXNG、FastAPI、Crawl4AI 與反爬蟲 / AI slop / prompt injection
Threads @a5555555678 認為 Docker + SearXNG + FastAPI + Crawl4AI 這種免費、隱私、開源 AI 搜尋系統已經半死，原因不是架不起來，而是搜尋引擎反爬、雲端 IP 黑名單、AI slop 汙染與 prompt injection 讓維護成本太高。本文交叉查證 SearXNG 與 Crawl4AI metadata，整理成 Hermes / Allen KB 的 web search backend 決策：自架適合維基、GitHub、新聞等低風險來源；一般網頁搜尋要混用 Tavily/Exa/Brave/Firecrawl/Jina 與來源驗證，而不是迷信免費私有搜尋。
2026年7月12日2 分鐘閱讀👁 7
AI Search × Privacy × Maintenance Cost
免費、隱私、開源 AI 搜尋不是不能做，是維護成本會吞掉你
Docker + SearXNG + FastAPI + Crawl4AI 是很合理的技術堆疊，但 2026 的網頁環境已經讓「自架通用搜尋」變成高維護低容錯任務：反爬蟲、雲端 IP 信譽、AI slop、prompt injection 都會直接污染 agent 的輸入。
來源與查證：
- Threads：@a5555555678 對自架隱私 AI 搜尋的反思
- GitHub：SearXNG / searxng — free internet metasearch engine，AGPL-3.0。
- GitHub：unclecode/crawl4ai — LLM-friendly web crawler & scraper，Apache-2.0。
- repo metadata 查證：SearXNG 約 33.7k stars；Crawl4AI 約 72.4k stars。
原文觀點
作者說，這種隱私免費開源 AI 搜尋系統：
Docker container
+ SearXNG search
+ FastAPI dispatcher
+ Crawl4AI parser
以前是很自然的架構：讓 AI 透過 MCP / tool 呼叫搜尋、抓網頁、解析成 Markdown，再回到 LLM 做摘要與分析。
但現在問題變成：
- SearXNG 容易被搜尋引擎的反爬蟲系統識別。
- 有時不是直接阻擋，而是塞廣告或低品質結果回來。
- 雲端機房 IP 可能被黑名單，部署在 VPS 反而更差。
- 網路上 AI slop 越來越多，搜尋結果本身品質下降。
- 網頁內容可能包含 prompt injection，直接攻擊 agent。
- 查 Wikipedia、新聞、GitHub 還可行，但通用 web search 維護成本高。
技術堆疊本身沒有錯
| 元件 | 角色 | 查證狀態 | 真正問題 |
|---|---|---|---|
| SearXNG | metasearch，不追蹤使用者 | AGPL-3.0；GitHub 約 33.7k stars | 上游搜尋引擎反爬、CAPTCHA、IP 信譽、結果污染。 |
| FastAPI | 派發 / API gateway / tool endpoint | 成熟 Python web framework | 不是瓶頸；瓶頸在資料品質與工具邊界。 |
| Crawl4AI | 把網頁轉成 LLM-ready Markdown | Apache-2.0；GitHub 約 72.4k stars | 解析能力強，但仍要處理 anti-bot、動態頁、惡意內容與 prompt injection。 |