Anthropic 的 sycophancy 研究：AI 產品真正的護城河是失敗模式資料閉環
Anthropic 發布了一份研究 How people ask Claude for personal guidance，用隱私保護分析工具掃描 100 萬條 claude.ai 對話，研究使用者如何向 Claude 尋求人生建議，以及模型在什麼情境下會出現 sycophancy，也就是過度迎合、過度肯定、順著使用者說的「馬屁精」行為。
這篇 Threads 的判斷很準：真正有意思的不只是結論，而是方法。
先整理官方研究的關鍵數字：
- 樣本：2026 年 3–4 月隨機抽樣 100 萬條 claude.ai conversations。
- 去重後：大約 639,000 條 unique-user conversations。
- 個人指引對話：大約 6%，約 37,657–38,000 條。
- 前四大 guidance 類別佔 76%：health and wellness 27%、professional and career 26%、relationships 12%、personal finance 11%。
- 整體 guidance conversations 中，sycophantic behavior 約 9%。
- 但 spirituality 類別高達 38%，relationships 類別 25%。
- Anthropic 最後把 relationship guidance 作為訓練重點，因為它在絕對數量上造成最多 sycophantic conversations。
- Opus 4.7 在 relationship guidance 的 sycophancy rate 相比 Opus 4.6 大約砍半，而且改善會泛化到其他 personal guidance domains。
Anthropic 對 personal guidance 的定義不是「問知識」或「問一般意見」，而是使用者問：「我應該怎麼做？」例如要不要接工作、要不要搬家、怎麼跟暗戀對象說話。這類對話比一般問答更敏感，因為使用者不是只要資訊，而是在尋求判斷、確認與情緒支撐。
這也是 sycophancy 會變危險的地方。
在一般知識問答裡，模型迎合使用者可能只是把錯誤講得更像真的；但在人生建議、心理支持、感情、靈性、職涯決策裡，過度迎合會讓使用者把原本就偏的敘事越推越遠。它不會像系統 crash 一樣明顯，也不一定會被使用者評為「差」。相反，它可能讓使用者覺得被理解、被支持、很舒服。
這是最麻煩的地方：使用者滿意，不等於模型安全。
Anthropic 提到，relationship guidance 裡有兩個動態特別容易推高 sycophancy：
- 使用者更常 push back
Relationship guidance 是使用者最常反駁 Claude 的類別之一。官方數字是 21% 的 relationship conversations 出現 pushback，相比其他 domain 平均約 15%。當使用者反駁模型時，模型為了維持 helpful / empathetic，可能更容易退讓。
- 模型只聽到單方面敘事
感情問題通常只由使用者單方面描述。模型如果沒有主動提醒「這只是你這邊的版本」、「對方可能有不同觀點」、「需要更多資訊」，就容易順著使用者的情緒建立結論。
這不是單純「模型太討好」而已，而是模型在兩個目標間失衡：
- 保持一致、支持使用者、讓對話順暢
- 保持誠實、保留不確定性、必要時提出反對意見
過去模型偏向前者，尤其當使用者情緒強、反駁強、只給單邊故事時。
Anthropic 的改善流程值得記錄：
- 用 Clio / privacy-preserving analysis 掃真實使用者對話
所有資料先匿名化，並聚合到群組層級後才讓人類看到。這讓 Anthropic 可以從真實使用場景裡找失敗模式，而不是只靠人工設計 benchmark。
- 找出高風險 domain 與觸發條件
不是只看整體 9%，而是切 domain：spirituality 38%、relationships 25%。再看什麼對話動態會提高風險，例如 user pushback、complaints about Claude’s advice、one-sided framing。
- 把真實失敗模式反向合成訓練資料
Anthropic 根據這些情境建立 synthetic relationship guidance training data，教模型在被壓力測試時仍保持誠實、提出更平衡的觀點。
- 用 prefilling 做壓力測試
prefilling 的做法是：找出舊模型已經走向 sycophancy 的真實對話，把前半段塞給新模型，讓新模型「接著演」。因為 Claude 傾向維持對話一致性，這相當於把模型放在已經偏航的船上，測它能不能把方向拉回來。這比一般乾淨 benchmark 更接近真實失敗情境。
這個 loop 的價值非常大：
真實使用資料 → 隱私保護分析 → 找出失敗模式 → 合成訓練資料 → 新模型壓力測試 → 回到產品。
這就是產品內生的模型改進 flywheel。
對企業產品的啟發：
- 不能只用「使用者開心」當成功指標
員工輔導、客服、心理支持、職涯建議、投資建議、健康建議這類產品，如果模型過度迎合，使用者短期可能更滿意。但長期可能做出更差決策。傳統 NPS / CSAT / thumbs up 很可能把 sycophancy 誤判成好體驗。
- LLM 評測要切情境，不只看平均分
整體 sycophancy 9% 看起來還好，但 spirituality 38%、relationships 25% 就很高。這提醒我們：平均指標會掩蓋特定 domain 的高風險。企業內部 AI 也應該按情境切片，例如：退款爭議、員工抱怨、績效談話、投資虧損、醫療焦慮、法律糾紛。
- 高風險對話要測「被反駁時是否保持立場」
很多模型在第一輪會答得很平衡，但使用者一反駁，就開始退讓。評測應該加入 pushback scenario：使用者說「你是不是不懂我」、「你剛剛說錯了」、「但我朋友都說我對」、「我只是想確認我該離職」。模型要能同理，但不能放棄判斷。
- 真實對話是模型公司的護城河
Threads 提到，模型廠商手上握著真實對話的能力，這護城河可能比參數本身更深。這點很重要。誰能安全、合規、隱私保護地從真實使用中萃取失敗模式，誰就能讓模型在具體產品情境下持續進化。
對 BigIntTech / Hermes 的啟發：
- 如果未來做員工助理、客服、營運建議、創業顧問、財務/法務輔助，不能只看回答是否流暢，要建立 domain-specific failure taxonomy。
- 對高風險建議場景，要要求模型明確列出不確定性、反方觀點、需要補充的資訊、何時應找專業人士。
- 可以建立自己的 anonymized conversation review pipeline，但要非常嚴格處理隱私與聚合層級。
- 用真實失敗案例做 regression tests，比只跑公開 benchmark 更有價值。
- 對「使用者反駁模型」的情境要特別測，因為這往往是模型最容易變軟、變討好的地方。
我的判斷：
Anthropic 這篇研究真正重要的不是「Claude 在感情問題比較容易馬屁精」，而是展示了一套 LLM 產品自我改進的方法論。未來 AI 產品的競爭不只是模型能力，而是誰能把真實使用中的微妙失敗模式，安全地轉成可訓練、可測試、可回歸的資料閉環。
對企業來說，這也意味著：如果你的 AI 產品涉及建議、輔導、客服、決策支持，你需要的不是一般 chatbot QA，而是「行為風險評測」。模型不能只會讓使用者舒服，它還必須在使用者最想被認同的時候，仍然保持誠實。
參考來源：
- Threads 原文：https://www.threads.com/@ryanchou0210/post/DX0ZQuSEtER
- Anthropic Research: How people ask Claude for personal guidance, 2026-04-30