Qwen3.5-Omni：阿里巴巴原生全模態 AI，256K 上下文、Thinker-Talker 雙元架構

模型定位

阿里巴巴 Qwen 團隊正式發布 Qwen3.5-Omni，一款原生全模態大型語言模型，能同時理解並處理文字、圖像、音頻與視頻四種輸入模態，並可即時串流輸出文字與自然語音。

與過去「拼接式」多模態系統不同，Qwen3.5-Omni 採用統一架構從頭訓練，讓各種感知模式在同一個模型中原生共存。

技術架構

Thinker-Talker 雙元架構

• Thinker：整合所有輸入（視覺編碼器 + 音頻分詞器 + TMRoPE 時間感知位置編碼）
• Talker：接收 Thinker 結果，以串流方式即時生成自然語音回應

兩者均採用 Hybrid-Attention MoE（混合注意力混合專家）機制，只有被激活的專家模組才會參與運算，有效降低計算成本。

ARIA（自適應速率交錯對齊）

動態對齊文字與語音 token，解決串流語音中常見的數字誤讀、跳字或停頓不自然等問題。

規格

• 版本：Plus / Flash / Light（全系列支援 256K 上下文）
• 可處理音頻：超過 10 小時連續音頻
• 可處理影片：約 400 秒 720p（1fps）
• 語音辨識語言：113 種語言與方言
• 語音合成語言：36 種語言
• 基準測試：215 項音頻與音視頻測試

與 Gemini 3.1 Pro 比較（WER 語音識別錯誤率，越低越好）

• Librispeech：Qwen 1.11 vs Gemini 3.36
• Wenetspeech：Qwen 4.30 vs Gemini 11.53

應用場景

• 教育：上傳課本圖片並以語音提問
• 醫療輔助：上傳影像並口述症狀
• 影片理解：音視頻字幕生成、分段、時間戳、角色層級描述
• 即時語音代理：語義中斷偵測、工具調用（網路搜尋 + 函數呼叫）、聲音複製

與前代差異

• 上下文：32K → 256K
• 架構：標準 MoE → Hybrid-MoE
• 音頻對齊：固定比例分詞器 → 動態 ARIA

注意

根據部分報導，Qwen3.5-Omni 採用 API 存取方式釋出，而非完全開放原始碼，這與 Qwen 過去的開源策略有所不同。

存取方式

Qwen Chat、阿里雲模型工作室，支援離線 API 與即時 API 兩種部署方式。