載入中...
載入中...
Edge0 以 SSD expert offload、提前預測路由的 prerouter，以及補回 int4 與路由替換損失的 Recover-LoRA，將 35B sparse MoE 的峰值活躍記憶體壓到約 2.9 GiB。這不等於整個模型只有 3 GB：checkpoint 仍約 19.5–23 GB，長上下文還會增加 KV cache，而且跨平台引擎仍屬 preview。
一則 Threads 與 JC Tech Space 文章指出，開發者嘗試繞過 CoreML/Metal，直接調用 Apple M4 的 ANE 執行反向傳播與 Transformer 訓練。重點不是「取代 NVIDIA」，而是 Apple Silicon 上的本地 AI 訓練與專用加速器可程式化邊界開始被重新探索。
Threads 貼文整理 Apple 第三代 Foundation Models：AFM 3 Core Advanced 是 200 億參數、每次啟用 10–40 億參數的地端模型；AFM 3 Cloud Pro 透過 Google Cloud 的 NVIDIA GPU 擴展 Private Cloud Compute。但官方細節也顯示，並不是所有雲端模型都跑 NVIDIA，AFM 3 Cloud 與 ADM 3 Cloud 仍為 Apple silicon，訓練則提到 cloud TPU。