AI / Multimodal
Gemini 代理式影片理解：最高省 88% Token，長影片改用動態探索
Google Gemini 的 agentic video understanding 會依問題動態選擇影片片段、逐字稿、影格率與解析度；官方文件稱長影片最高可提升 88% Token 效率、約 7% 品質。
2026年9月3日2 分鐘閱讀👁 7
Gemini API × 長影片分析
不要把整支長片固定抽成 1 FPS：讓模型自己找需要看的片段
Gemini 的代理式影片理解（Agentic Video Understanding）把長影片處理從「一次塞完整固定取樣」改成目標導向的探索迴圈：模型依問題導航時間軸、選擇逐字稿或畫面，並動態調整影格率與解析度。
**官方查核（2026-09-04）：**Google Gemini API 文件目前列出 Gemini 3.8 Flash、3.7 Flash、3.6 Flash、3.5 Flash Lite 支援 agentic 模式；T客邦文章較早只列到 3.7。官方對長篇內容的表述是「最高 88% 更具 Token 效率、約 7% 更高品質」，不是所有任務固定保證。
靜態與代理式處理差在哪裡
| 模式 | 做法 | 適合 | 主要代價 |
|---|---|---|---|
| Static（預設） | 固定約 1 FPS 抽幀，單次放入 context | 5 分鐘以下短片、要求全片逐幀一致性的任務 | 長片 Token 快速增加，也可能漏掉短暫事件 |
| Agentic | 依問題動態導航時間軸，選用影像、音訊或逐字稿，必要時提高局部取樣率 | 長片摘要、特定時刻檢索、異常偵測、動作／物件計數 | 代理迴圈可能增加互動延遲；仍需驗證時間碼與引用 |
官方數字該怎麼讀
- **最高 88% Token 效率改善、約 7% 品質提升：**來自 Google 官方文件對長篇內容的整體描述，屬供應商基準，不等於 BigIntTech 已重跑。
- T客邦另寫「分析成本最高降低 66%」，但目前官方影片理解文件頁未看到相同表格，因此保留為媒體轉述，不能當採購保證。
- agentic 模式採標準 Gemini API Token 計價，沒有獨立功能加價；實際成本仍取決於模型、影片長度、問題與反覆探索量。
- 官方建議一般先從 agentic 模式開始；但短片、低延遲或必須完整固定取樣時，static 仍可能更合適。
適用場景
- **長片大海撈針：**從數小時會議、監視影像或教學片中找特定事件。
- **次秒級事件檢索：**對候選區段提高取樣率，減少固定 1 FPS 漏看剪輯點或瞬間動作。
- **異常偵測：**先粗掃全片，再重看高風險時間窗。
- **動作與物件計數：**追蹤重複事件，但正式數據仍應用可重現測試集驗收。
- **影片剪輯前處理：**先產生候選時間碼與片段理由，再交給 FFmpeg／剪輯流程。
對 Allen 專案的價值
- **Athena／Google Meet：**可先從逐字稿與粗粒度影片找到決策、簡報切換與白板片段，再針對候選區段精查。
- **《我是大法師》：**適合做大量生成片段的 QA 初篩，例如找人物突變、手部異常或鏡頭跳變；最終 selected 判定仍需人工／多幀 QA，不能把模型分數當唯一 gate。
- **YouTube／Allen KB：**可用於長影片章節定位與證據時間碼，避免每支影片都完整高 FPS 送入模型。
導入建議
- 先拿 10 支不同長度影片做 A/B：static vs agentic。
- 固定問題與人工標註答案，比較 Token、延遲、時間碼命中率、漏報率與誤報率。
- 每個結論保存影片 URI、模型版本、processing 模式、prompt、輸出時間碼與 Token usage。
- 對重要判斷，必須回讀原始片段；代理式搜尋能降低成本，不代表自動消除幻覺。