在Framework Desktop 擴充 NVIDIA GPU：用 OCuLink 外接 RTX 5070 Ti 之後，發現地端模型新天地。
Embedding、Reranker、Decision Model 這類模型，用 5070Ti, 5080 這個等級的顯卡來跑足夠快，已經能滿足 production 應用的需求。雖然顯卡 ram 不多，但這類模型夠小，一張卡放得下。最棒的是，可以透過多張卡來提高吞吐量跟速度。
例如，RAG 匯入新文件時，需要一次產生大量 Embeddings，就可以把資料分給兩張卡，各自計算。Reranker 一次要重排 100 筆文件，也可以拆成兩批平行處理，最後再合併分數排序即可。Decision Model 的分類、驗證等任務，每筆判斷彼此獨立，也能用同樣的方式分工。
單卡就夠快了，但多一張卡就能直接增加整體吞吐量速度，於是趕緊再添購一張 RTX 5080 (越來越難買了，都要主機板組合但我又沒有要組新電腦，我買到 pchome 上最後一張是組合電源供應器的)，就可以讓 Embedding、Reranker、Decision Model 的速度超越雲端模型，畢竟雲端 API 還有網路往返耗時呢。
那推薦用哪些開源模型呢? 我正在重新評測做新的排行榜。
Framework Desktop 的硬體擴充
上回提到，Framework Desktop 機殼內的 PCIe x4 插槽空間很小，不太好擴充。後來我找到一張內接型的 OCuLink 轉接卡，它的 OCuLink 接頭朝向機殼內部，不需要機殼背面對外開孔，剛好解決了安裝空間的問題，順利從這個插槽接出第二張顯卡。
那原本裝在 PCIe 轉接卡上的第二個 M.2 SSD 怎麼辦? 只好再搬一次家，這次改用外接 SSD 盒，透過 USB-C 連接。好在 Framework Desktop 背面的 USB-C 連接埠支援 USB4，速度有到 40Gb，於是我買了這台 ACASIS 阿卡西斯 TBU405 40Gbps 外接盒，把 PCIe 插槽讓給第二張顯卡。
硬體搞定後，軟體就不難了。兩張卡各自跑一份相同的模型服務在不同 port，前面再放一個用 Vibe coding 刻的 Rust 超快 gateway 分流請求即可。