AI 領域的熱度持續延燒，Meta 在 23 號晚上發表了 Llama 3.1 系列模型，包含 8B、70B 以及先前預告過的 400B+ 參數模型。Llama 3.1 發布的 405B 參數模型，根據 Meta 官方數據，其效能甚至略微勝過 GPT-4o，令人相當期待！
Llama 3.1 重點更新
Context Window 大升級
Llama 3.1 將 Context Window 大小從 8K tokens 提升至 128K tokens，解決了處理長文摘要和長對話的限制。
模型架構與技術
Llama 3.1 維持 Llama 3 的架構，即使是 405B 參數模型也採用標準 decoder-only transformer 架構，並未使用混合專家模型。同時，Llama 3.1 繼續使用 GQA（分組查詢注意力）技術，搭配擴展後的 Context Window 大小，更適合處理會議或文章摘要(訊息來源: Hugging Face 官方部落格)。
Llama 3.1 效能評比
405B 模型：開源模型之最
Meta 將 Llama 3.1 405B 模型與 GPT-4、GPT-4o、Claude 3.5 sonnet 等模型進行比較，結果顯示 Llama 3.1 在 GSM8K、ARC Challenge、Multilingual MGSN 等測試資料集上表現優於 GPT-4o 和 Claude 3.5 sonnet。
雖然在 MMLU、Human Eval、MATH 等測試資料集表現略遜於閉源模型，但分數差距不大。此外，人工評估結果顯示，Llama 3.1 405B 模型的輸出表現與 GPT-4 和 Claude 3.5 Sonnet 相當，略遜於 GPT-4o。
8B 和 70B 模型：小尺寸，高效能
Llama 3.1 8B 模型在各項表現優於參數相近的 Gemma 2 9B IT 和 Mistral 7B Instruct。而 70B 模型的表現更是驚人，不僅勝過開源模型 Mixtral 8x22B，更在測試資料集分數上完全碾壓 GPT-3.5 Turbo。
Llama 3.1 知識蒸餾與 License 更新
為讓大家使用 Llama 3.1 405B 模型進行知識蒸餾和生成合成數據，Meta 更新了 Llama 3.1 的 License。新版許可條款允許使用模型輸出改進其他語言模型，但訓練出的模型名稱開頭必須帶有 “Llama”，並在文件中標註 “Build with Llama”。
Llama 3.1 指令微調與 ipython 角色
Llama 3.1 發布了各個參數量的 Instruct 版本，也就是指令微調版本。Meta 表示，他們根據呼叫工具來微調 Llama 3.1 模型，並引入了一個名為 ipython 的新角色，用來接收和記錄呼叫完工具回傳的數據。
免費使用 Llama 3.1 模型
線上使用
-
Hugging Face HuggingChat： 免費使用 Llama 3.1 405B 和 70B 模型，提供友好的對話介面和工具調用功能。
-
Groq： 使用自行研發的 LPU 進行推理，註冊簡單，生成速度快，支援免費 API 調用。
之前的介紹文章:
http://the-walking-fish.com/p/groq/
本機使用
使用 LM Studio 程式下載和運行 Llama 3.1 模型。LM Studio 提供方便的模型下載介面、對話視窗，並使用 llama.cpp 進行模型推理，即使沒有獨立顯卡也能運行。
結語
Llama 3.1 的發布，特別是 405B 參數模型的強勁效能以及知識蒸餾的開放，可以說是開源語言模型推到了一個新的高度。也是近年來第一次，開源語言模型與閉源商業模型的表現如此接近。可見在的未來一段時間裡，Meta 的 Llama 系列模型，應該還會是開源語言模型開發的首選。