為什麼選這台?
能在本地自家跑 LLM 大模型，應該是 AI 工程師的夢想之一。
太小的模型不夠實用，因此一直有在關心能跑的動 70B 的機器。在 2025 年中研究了一下個人用的 AI 工作站電腦，在「128 GB RAM + 2TB SSD」的條件下來選，最後得出三個選項:
- 性價比冠軍: AMD Ryzen AI Max+395: 價格才 USD 2k; 記憶體頻寬 273 GB/s; x86 + Windows; 70B 模型推論 + 玩遊戲都 OK
- 生態優勢: NVIDIA DGX Spark: 要 USD 4k; 記憶體頻寬也是只有 273 GB/s; ARM + CUDA，適合模型訓練/微調，若只跑推論感覺 C/P 值不如 AMD 啊
- 頻寬極速: Mac Studio M4 Max: 最貴 USD 4.5k; 546 GB/s 跑推論最快; macOS 生態
本地要跑 LLM，關鍵就是 GPU RAM 要夠，而且記憶體頻寬速度要夠快。
Mac Studio 是很多人推薦的選擇，但是我覺得組 128GB + 2T 硬碟的話，價格實在是太貴了(六位數台幣約14W)。2025 年初 NVIDIA DGX Spark 新聞出來後，對這台也很感興趣，後來發現這台有幾個問題
- 這台是 ARM 機器是跑 Linux，定位就是機器學習工作站，拿來在 Nvidia CUDA 體系下做機器學習訓練
- 記憶體頻寬只有 273GB/s，跑推論應該會比 Mac Studio 慢，沒優勢
- 價格也不便宜，要台幣6位數，而且其實網上你還買不到
我自己的需求主要是模型 Inference 推論，買 NVIDIA DGX Spark 這台感覺有點浪費啊，又不是天天在做模型訓練微調。後來看到 AMD 的 Ryzen AI Max+395 跑推論好像也很猛，就去找有哪幾家有組裝，找到三家可買: Framework Desktop, GMKtec EVO-X2, Bosgame M5 AI。
筆電形式就不考慮了，我已經有 MBP，而且這台也會當作 Server 一直開機，散熱和風扇噪音也要考慮一下，因此覺得小台的桌機更好發揮這台的效益。
這幾家裡面，Framework 這家公司因為 DHH 一直在推薦，所以很有印象。他後來也有寫一篇 The Framework Desktop is a beast 。基本上就是一樣的錢，現在你買 AMD 可以獲得比 Mac 更好的性能。
訂購過程
- 2025/6 月初 官網預訂 (Batch 11)，五位數台幣，會先刷一個 3000 台幣訂金
- 2025/9/23 收到準備出貨通知，隔天會刷剩下的錢
- 2025/9/26 順豐到貨
雖然 Framework 是美國公司，但組裝代工是台灣仁寶，因此是從台灣寄出的。他的台灣分公司 美商豐沃電腦股份有限公司台灣分公司 還會開電子發票給你。豐沃果然就是 Framework 麻。
為什麼用 Windows?
這台這麼猛，我是希望不只當作 Server，也可以當作日常多功能用途，有很多 GUI app 畢竟是沒有 Linux 版本。加上 DHH 推薦 VSCode + WSL makes Windows awesome for web development 也很棒，拿來開發環境也可以。
初步使用 WSL 的體驗還不錯，Terminal 打開就是一個真的 Ubuntu Linux 系統，就如 DHH 所說，用 Docker 的話 x86 硬體其實比 Mac 更有優勢。而且有些 app 整合的蠻好的，例如 VSCode 和 Docker，都是安裝 windows 版後，也可以順利無縫在 WSL 內的 Linux 用 CLI 操作。不過我同時也感覺是有複雜性的，畢竟這是 Windows + 子系統 Linux 的架構，例如如何從外部連進子系統 Linux 內，需要額外設定 Port Forwarding。
另外，相比 Linux 跟 Mac 的最大的優勢，就是這台還可以打 PC 遊戲，立刻就把世紀帝國2又裝起來複習一下，各種 3A 大作想必也沒有問題。
實際用了一天，覺得還不錯，雖然 UI 方面還是不如我用了18年的 Mac 順手啦。
安裝過程
這台需要 DIY，這是初始狀態，你需要自己裝 SSD 硬碟、CPU 風扇、前蓋板裝飾、USB 轉接擴充 (都在官網一起買)，以及自己安裝作業系統。注意，AMD Ryzen AI Max+395 的 RAM 是不能換的，建議一開始就選最大 128GB 吧。
參考以下官方指南進行安裝。
- Framework Desktop (AMD Ryzen AI Max 300 Series) DIY Edition Quick Start Guide
- Windows 11 Installation on the Framework Desktop (AMD Ryzen AI Max 300 Series)
注意: 這照片中風扇我裝反了，後來又拆開重裝一次: 風扇要朝散熱片吹，而不是向外吹。
風扇跟散熱片的螺絲孔位也有點沒對齊，我是先不裝那個黑色的導流框，先用四個螺絲鎖並往下壓好之後，再裝導流框。
跑 gpt-oss-120b 速度
好，回到當時買這台的初心，跑 LLM 大模型。下定的時候 OpenAI gpt-oss 還沒有出，但現在是我最有興趣的開源模型。
請務必按照 AMD 文章的說明: 需要安裝 AMD Software 設定顯卡 VGM 到 96G，以及 LM Studio 設定 GPU Offload 開最大。如此 Framework Desktop (AMD AI Max+395 128g) 的實測速度是:
- gpt-oss-20b (GGUF) 超快，可以跑到 60 tok/sec
- gpt-oss-120b 速度則是 30 tok/sec 也很快!!
Context Length 方面，gpt-oss 模型的上限是 131k。但我這個家用硬體，當然是沒辦法開到滿。目前測試到 12k 是沒問題的，需要再進一步研究設定。
作為對比，相比我筆電 MacBook Pro M2 Pro (32g)
- gpt-oss-20b (MLX) 也是可以跑 50 tok/sec
- gpt-oss-120b 跑不起來，ram 不夠
我也嘗試了其他模型例如 Gemma 3 和 Mistral Small 等，但速度都沒有 gpt-oss 來得快，只有 15tok/sec 左右，感覺預設沒有最佳化到好，需要再進一步研究設定。倒是 Qwen3 30B 在 LM Studio 裝好就可以跑到 70 tok/sec 超快。要弄好模型 Inference 又是一門大學問了，超多設定在這邊。
以上，有更多經驗再分享。