窮人版AI叢集！我做了一個把家裡電腦串起來跑 LLM 的專案，速度飆升2倍！(Llama.cpp 分散式推理)

如果你也是個 AI 愛好者，肯定對在本機端運行大型語言模型 (LLM) 不陌生。但隨之而來的，就是那令人頭痛的 VRAM 焦慮。現在表現好一點的開源模型，像是 Gemma 3 27B、Qwen3 32B、Devstral 24B 等，動輒就需要10幾20GB 的 VRAM，對大部分人的電腦顯卡來說，基本不太可能滿足這個需求。

現在許多模型參數量都很大，導致需要大量VRAM

就算勉強能跑，也往往因為 VRAM 不足，必須啟用 GPU+CPU 混合模式，導致速度慢到讓人懷疑人生。

痛點：龜速般的單機推理

以我的電腦為例（i5-14400F + RTX 4070 Super 12GB），在使用常見的 Ollama 運行 Devstral Small 模型時，由於 VRAM 爆了，推理速度大概只有 每秒 7-8 個 token。這種速度拿來聊天都嫌慢，更別說整合到像是 Cline 這樣的 AI 開發工具裡了，每個回應都等到天荒地老。

單機運行時CPU+GPU混合運算，token 生成速度極慢

這背後的原因除了 CPU 本身不擅長 AI 運算外，更關鍵的是記憶體頻寬遠遠跟不上顯示卡 VRAM。這也讓我萌生了一個大膽的想法：

我能不能把家裡所有閒置的電腦、筆電全部串起來，讓它們合力運行一個模型，打造一個屬於我自己的「窮人版 AI 叢集」？

方案探索：為何不選 vLLM？

提到分散式推理，很多人第一時間會想到 vLLM。它非常強大，是企業級的解決方案。但缺點也很明顯：設定複雜，尤其是在 Windows 環境下，基本上只能透過 Docker 或 WSL 來安裝，對於家用環境來說，門檻稍高且不夠輕便。其他方案如 exo 又偏向 Mac，最終，我將目光鎖定在了老朋友——Llama.cpp。

vLLM 相當強大，但對於 Windows 來說安裝較為複雜

柳暗花明：Llama.cpp 的 RPC 功能

Llama.cpp 在前一段時間推出了一個實驗性的 RPC 伺服器功能。它允許我們將一個模型分散到多台機器上，每台機器負責運算模型的一部分，然後將結果匯總。

它甚至能自動分配各個節點（電腦）需要加載的模型比例，大大減少了使用者的工作量！

概念驗證 (Proof of Concept)

為了驗證可行性，我進行了手動測試：

在副機（我的筆電）上，下載 llama.cpp，並執行以下指令，啟動 RPC 伺服器，讓它可以被區域網路中的其他電腦存取。

1
2
3
4


# -c 支援快取檔案
# -H 0.0.0.0 讓它可以被外部存取
# -p 5052 指定一個通訊埠
rpc-server.exe -c -H 0.0.0.0 -p 50052

在主機（我的桌機）上，一樣用 llama.cpp，但這次啟動的是 llama-server，並透過 --rpc 參數告訴它副機的位置。

1
2
3
4


# -m 指定模型路徑
# -ngl 99 盡可能將模型層數載入 GPU
# --rpc 指向我們剛剛啟動的副機 IP 與 Port
server.exe -m ./Devstral-Small-2507-Q4_K_M.gguf -ngl 99 --rpc 192.168.50.19:50052