EP422 – Strata：12GB 顯卡跑 125B 模型，「比 llama.cpp 快 6 倍」是真的嗎？

🚀 特別感謝贊助

本集節目由 VoAI 絕好聲創 提供技術支援。

🎤 VoAI 提供最有「台灣味」的 AI 聲音，支援情感語音、台式口音，甚至能一鍵生成虛擬人！

🎁 AI懶人報聽眾專屬優惠： 👉 輸入優惠碼 AILRB26 立享 95 折！

立刻體驗：https://www.voai.ai/

一張 12GB 的遊戲顯卡，跑一千兩百五十億參數的 Qwen3.8-Flash-Next，每秒九十幾個 token。Strata 兩個禮拜拿到快兩萬顆星，標題都寫「比 llama.cpp 快 6 倍」。可是 Strata 自己的文件從來沒寫過這個數字。

這一集照原始資料拆解： ・它是什麼：一套只為這一個模型寫的推論引擎，雙擊安裝，在你電腦上開一個 OpenAI／Anthropic 格式的 API，Claude Code 可以直接接 ・它怎麼塞進一張顯卡：常用的 expert 放顯卡、全部放記憶體、CPU 同時算；SSD 上那張查表是 Qwen 自己設計來搬出顯卡的 ・「6 倍」怎麼來的：只量了讀 prompt，而且對手是預設設定的 llama.cpp；調好之後約 2–3 倍。最快的二位元版本寫程式分數少 6 分 ・這對本機 AI 代表什麼：門檻從顯卡搬到記憶體

✅ 可以直接照做的四件事

有 12GB 以上顯卡＋64GB 記憶體：今天就可以裝起來試 裝好之後把 Claude Code 的 ANTHROPICBASEURL 指到 http://127.0.0.1:8080，讓本機模型寫程式 「快 6 倍」是讀 prompt、對手沒調過；寫程式選三位元（IQ3），聊天選二位元（Q2_0） 要為本機 AI 升級電腦：先加記憶體，再考慮換顯卡（記憶體 ≥ expert 大小＋10 GB）

📎 參考資料 ・Strata（GitHub）：https://github.com/Niko1221/Strata ・Strata 運作原理：https://github.com/Niko1221/Strata/blob/main/docs/HOWITWORKS.md ・Strata 論文：https://github.com/Niko1221/Strata/blob/main/docs/paper/Strata-Paper.pdf ・Strata 對 llama.cpp 的測試結果：https://github.com/Niko1221/Strata/blob/main/bench/results/2026-10-06-llamacpp-0.6.0/README.md ・Qwen3.8-Flash-Next 模型卡：https://huggingface.co/Qwen/Qwen3.8-Flash-Next ・ISTA-DASLab 壓縮檔與品質分數：https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF ・RTX 3060 重測（讀 prompt 的 6 倍從哪來）：https://insiderllm.com/guides/strata-vs-llama-cpp-rtx-3060/ ・llama.cpp PR #29761（MTP，已合併）：https://github.com/ggml-org/llama.cpp/pull/29761 ・llama.cpp PR #27861（expert cache，審查中）：https://github.com/ggml-org/llama.cpp/pull/27861 ・Hacker News 討論串：https://news.ycombinator.com/item?id=49953495

影片版（有圖解）在 YouTube 搜尋「AI 懶人報」。

歡迎請我喝杯咖啡，幫助我繼續把節目做得更好唷～！ 👉 https://buymeacoffee.com/ailanrenbao -- Hosting provided by SoundOn