4 月 18 日，Meta 正式發表了新一代的開源語言模型 - Llama 3。在推出前，Llama 3 備受市場期待，今天就讓我們來看看 Llama 3 相較於 Llama 2 有哪些不同之處，以及現在我們如何免費使用 Llama 3 模型。
Llama 3 官網:
https://llama.meta.com/llama3/
Llama 3 系列規模與表現
根據Meta公布的資料，Llama 3 系列包含 8B、70B 和 400B 參數的版本，其中 400B 版本仍在訓練中。值得一提的是，Llama 3 最小的模型參數量並非常見的 7B，而是稍大的 8B 參數。
就表現而言，根據 Meta 官方數據，Llama 3 70B 參數的模型在多項測試中超越 Claude 3 Sonnet、Gemini 1.5 等知名模型。Meta 也針對寫成式、數學推理、尋求建議等 12 個項目進行人工評估，最終 Llama 3 70B 參數模型在與 Mistral Medium、Claude 3 Sonnet、Llama 2 和 GPT-3.5 的比較中獲得全面勝利。
令人驚喜的是，即使是最小的 8B 參數模型，在測試資料集上的表現也已與 Llama 2 70B 參數的模型不相上下。這次 Llama 3 的進步可說是相當巨大，同時也反映出 Meta 投入的龐大資源:兩個擁有 24000 個 H100 GPU 的叢集，以及 15 兆個 TOKENS 的訓練資料(Llama 2 僅使用約 2 兆個 TOKENS)。
Llama 3 的模型架構改變
在模型架構上，Llama 3 與 Llama 2 基本架構相同，最大的不同是採用了新的 Tokenizer，增大了詞彙表，理論上可以增強模型的多語言能力。但與之相對的是，模型大小也會增加，這也解釋了為什麼 Llama 3 最小的模型就是 8B 參數。
免費使用 Llama 3 的途徑
由於 Llama 3 是開源模型，我們可以選擇在自己的電腦上運行，或使用一些網站提供的線上服務。以下我會分別跟大家介紹我推薦的方式。
線上使用
線上使用的部分，我個人推薦使用 HuggingFace 的 HuggingChat 上免費使用 Llama 3 70B 參數的模型，HuggingChat 提供了方便使用的聊天介面，有歷史紀錄、網路搜尋、自定 Assistant 等功能。我之前就有介紹過有興趣的可以去看一下。
第一次執行的時候，可以自行選擇是否登入，不登入也一樣可以免費使用模型，只是比較容易達到使用上限。同時 Assistant 等功能也會無法使用，大家可以自行取捨。
進到對話頁面裡，我們只需要點擊畫面中間偏左上角的設定按鈕，就可以打開設定頁面，在左側選擇 Llama 3 70B 模型。
選擇模型後按 Activate
這樣就可以開始對話了
(P.S.Meta 官網的 Meta AI 雖然已採用 Llama 3，但目前只開放美國、澳洲、加拿大等國家使用。)
本機使用
如果想在自己的電腦上執行 Llama 3，我個人推薦使用 LM Studio 這個工具。它提供了方便的模型下載介面和對話視窗，並使用 llama.cpp 來運行模型，因此即使沒有獨立顯卡，只要記憶體足夠也能跑語言模型。(以前我也有介紹過，有興趣可以去看看這篇文章)
LM Studio 官網:
https://lmstudio.ai/
在下載並安裝完 LM Studio 後，在程式中搜尋 Llama 3 就可以看到 Llama 3 的 GGUF 檔
接著要下載的模型，基本上一般家用電腦應該只跑得動 8B 參數。至於 8B 參數模型點進去後，裡面有多個可以下載的模型檔案，個人建議是 Q4_K_M 的版本，這個版本是性能與大小較平衡的版本，硬體配置好的話也可選擇 Q5、Q6 或 Q8 版本。
下載完成後，在聊天頁面載入模型即可開始與 Llama 3 對話。
實際測試表現
無論是線上還是本機，Llama 3 在基本問答、程式能力和流暢度方面的表現都相當出色。以下是一些測試結果:
HuggingChat 上的 70B 模型
首先要測試的是 Llama 3 70B 的程式能力，使用 LeetCode 困難難度的題目測試，可以正確的給出答案。
隨便亂聊一些怪問題，像是「義大利麵拌 42 號混凝土」，回復的語句算是流暢自然。
即使是 8B 參數的模型，在未經過繁體中文微調的情況下，對繁中的輸出流暢度已達可以正常對話的水準。
不過，對於目前語言模型仍難以解決的邏輯推理問題，這邊詢問 Llama 3 之前我有問過 Claude 等 LLM 的「左輪手槍問題」，Llama 3 和其他大型模型一樣都無法正確回答。
總結
總的來說，Llama 3 不僅在規模和表現上有長足進步，對多語言的支援(至少在中文方面)也有明顯提升。尤其是 8B 參數的模型，即便經過 4bit 量化，也能以流暢的繁體中文回覆，確實給人驚喜。如果你有興趣嘗試這款新模型，不妨按照上述方式在線上服務或本機環境免費使用!
