我在去年 2025/9 月，買了一台 AMD Ryzen AI Max+ 395 的 Framework Desktop 來跑 LLM 大模型，之前寫過開箱文。
雖然不是 Nvidia 在大部分情況下用 AMD 也能跑，特別是 GGUF 模型推論用 llama + vulkan 引擎就行。但如果是開源的 PyTorch 相關的 AI 專案，安裝範例都是以 Nvidia CUDA 為預設，每次想試就需要特別改裝 ROCm 版本的 PyTorch 去實驗相容性，會比較麻煩，而且也不總是可行。
例如，最近也在做 AI 推薦系統，會用到 PyTorch 等深度學習模型訓練。這種記憶體需求不算大，但若有 CUDA 支援，開發上會很有幫助，而且 production 最後也是 Nvidia GPU 環境。另外就是跑小模型例如 Embeddings、Reranker、OCR 或 ASR 語音辨識的話，其實記憶體需求也不大，但算力夠快會很有效益，可以多做即時語音辨識應用。這幾個任務我最後用 5070 Ti 大約會比 AMD gfx1151 快 3至4 倍，還是非常有感。
於是，我開始留意怎麼替這台工作站電腦加上一張 Nvidia 顯卡，最後採用的成功方案是: 從 M.2 插槽接出 OCuLink 擴充，外接 Nvidia RTX 5070 Ti 16GB 和獨立電源供應器供電，總花費約5W。
如此記憶體需求大的模型放 AMD Ryzen AI Max+ 395 能跑、開發 AI 模型和小模型則用 Nvidia RTX 5070 Ti 跑得快。畢竟如果要記憶體容量大，又要算力超快，現在就是超貴，分開訴求組成一台雙 GPU 工作站也是個折衷思路。
有個 PCIe x4 插槽，但不太好用
Framework Desktop 主機板上有一個 PCIe x4 插槽，但實際可用的擴充空間相當受限。一來原廠機殼沒有對應的擴充卡開孔，二來插槽是短版、尾端封閉的 x4，無法直接插入一般顯卡的 x16 金手指。周圍空間非常小，轉接卡的高度、接頭方向與線材彎折空間，都得一起考慮。
我原本想用 PCIe 延長線，把顯卡拉到機殼外面，但一直找不到尺寸與接頭方向都適合的，即使延長了還擔心供電，因為顯卡除了獨立電源接頭，還會從 PCIe 插槽取電，因此不確定哪種 PCIe 延長線可行。
後來看到 OCuLink 外接座顯卡方案，有現成的擴充座可以處理顯卡安裝與供電，感覺比較容易擴充成功。OCuLink 的速度也很好。
不過，從這台 PCIe x4 插槽接出 OCuLink，因為這台機殼空間太小又沒開孔，還是需要多一條 PCIe 延長線，然後才能接上 PCIe 轉 OCuLink。考量到多一條就多一種可能的訊號問題。於是，我改從 M.2 插槽下手，可以少一條訊號延長線。
改走 M.2，先替第二顆 SSD 搬家
Framework Desktop 有兩個 M.2 SSD 插槽，其中一個位於主機板背面。我最後選擇從 M.2 接出 OCuLink，但原本這個插槽我已經裝了第二個 SSD，所以得先替第二顆硬碟找新家。
解法是買一張 PCIe 轉 M.2 NVMe SSD 轉接卡，把第二顆 SSD 改裝到主機板的 PCIe x4 插槽上，再把空出來的 M.2 插槽留給顯卡。聽起來很簡單，但我其實買到第三張轉接卡才成功。卡關的原因是這張轉接卡的高度問題，這個 PCIe 插槽的位置在這個機殼真的留得很小，只要高一點就插不進去，會跟下方的電源供應器卡到。好在這轉接卡超便宜竟然只要一百多塊可以讓我買來試。
OCuLink 擴充
OCuLink 外接顯卡方案。一方面有找到成功案例，另一方面，它把 PCIe 連接、顯卡插槽與外部供電整理成比較容易組裝的一套方案。
我買了以下三樣：
| 零件 | 用途 |
|---|---|
| M.2 PCIe x4 轉 OCuLink 轉接板 | 從主機板的 M.2 插槽接出 PCIe 訊號 |
| OCuLink SFF-8611 公對公線材 | 連接主機與外接顯卡座 |
| OCuLink 外接顯卡擴充座 | 安裝顯卡，並接入 ATX 電源供應器 |
這三樣加起來才 NT$2,100，整個連接方式是：主機板的 M.2 插槽，接到 M.2 轉 OCuLink 轉接板，再經由 OCuLink 線材連到外接顯卡座，最後插上 NVIDIA 顯卡。ATX 電源供應器則負責顯卡座與顯卡的供電。
另外，擴充座雖然是 x16 外觀的插槽，但 Framework Desktop 主機板仍是 PCIe 4.0 x4 的頻寬。不過對於 AI 工作負載來說，模型載入 GPU 記憶體後，主要都在顯存內運算了，不需要頻繁在主記憶體、顯存之間搬資料，所以速度問題倒是還好，只影響一開始載入模型的速度，但 PCIe 4.0 x4 也夠快了，幾秒內整個模型就載入完了。
最後，電源供應器記得買有 12V-2×6 原生 16-pin 接頭的就好，買到 850W 應該就夠了。
挑選 Nvidia 顯卡
目前消費等級最好的 Nvidia 是 RTX 5090 了，有 32GB ram 加上極高算力，產品好大家都發現了，因此現價非常貴(約20W)，缺貨缺到商家強迫搭主機板組合一起賣。
最後買的是 5070 Ti 16GB 是我覺得最划算的: PNY RTX 5070 Ti 16GB OC Triple Fan $42990
RTX 5080 我也考慮過，大約要再貴一萬元，但它和 5070 Ti 一樣都是 16GB。算力是有提升一點，但顯存容量沒有增加，對我這次以 AI 開發與實驗為主的用途，性價比沒有比較好。而且第一次用 OCuLink 擴充也怕顯卡買了卻不能用，所以就沒買這張了。
至於往下等級買是 RTX 5060 Ti 16GB，但也要 26k 吧，但是性能只有 5070 Ti 一半，跟 AMD Ryzen AI Max+ 395 差不多，這樣搞就升級無感了。
Strata 實測
github.com/Niko1221/Strata 是最近很紅的專案，可以將大模型塞進小 GPU。我裝了 Qwen3.8-Flash-Next 量化 IQ2_XS 測試可以跑，而且跑得蠻快的。
可惜這不能混用 Nvidia GPU + 這台內建的 AMD Radeon 8060S Graphics，只能在啟動時二選一。