Google 在 7 月 31 日開源了僅有 20 億參數的 Gemma 2 2B 語言模型，並同步發布了安全模型 ShieldGemma 和模型解釋工具 Gemma Scope，為 Gemma 2 系列模型增添生力軍。
這次 Gemma 2 2B 的開源，不僅代表 Gemma 2 系列模型正式完整，更重要的是它展現了小參數模型也能擁有驚人的表現。
Gemma 2 2B：小尺寸，大能力
別看 Gemma 2 2B 參數量小，它的對話能力可是不容小覷，尤其是在英文聊天方面表現相當出色。根據 LMSYS 語言模型競技場 的排名，Gemma 2 2B 的表現甚至超越了 GPT-3.5-Turbo-0314！
從上圖可以看出，Gemma 2 2B 不僅超越了所有 GPT-3.5 模型，更僅以 2B 的參數量超越了 Mixtral 8x7B 和 Llama 2 70B 等參數量大它 10 倍以上的開源語言模型。
Gemma 2 2B 之所以能有如此亮眼的成績，主要歸功於 Gemma 2 系列 27B 大模型的優異表現，透過知識蒸餾訓練，讓 Gemma 2 2B 能夠在有限的參數量下，展現出色的語言能力。
Gemma 2 2B 與其他模型的比較
除了 LMSYS 的評測外，OpenLLM 的資料也顯示 Gemma 2 2B 在與其他參數量相近的開源語言模型（如 Microsoft Phi-2 和 Qwen2-1.5B-Instruct）相比，在 IFEval 分數上有著明顯的優勢。
Gemma 2 2B 在個人裝置的可用性
Gemma 2 2B 的參數量小，代表它對硬體的需求更低，可以在大部分個人電腦上執行，甚至經過量化後，還能在手機上運行。
Google 亦將 Gemma 2 2B 針對 NVIDIA 的 TensorRT-LLM 進行了優化，使其在雲端、個人電腦和邊緣裝置上都能順暢運行。
除此之外，Gemma 2 2B 還支援 Speculative Decoding（輔助生成）技術，可以作為預測模型，加速模型在伺服器上的文字生成速度。
根據 Hugging Face 的資料，使用 Gemma 2 2B 做輔助生成，可以讓 Gemma 2 27B 的生成速度最高提升 3 倍。
如何免費使用 Gemma 2 2B？
1. Google AI Studio:
作為 Google 自家的模型，Gemma 2 2B 已經可以在 Google AI Studio 上免費使用。
2. 使用 llama.cpp 的各種專案:
llama.cpp 也支援 Gemma 2 模型，可以使用 LM Studio 等專案執行。
之前介紹過 LM Studio 的文章:
https://the-walking-fish.com/p/lmstudio/
ShieldGemma：守護模型安全的利器
除了 Gemma 2 2B 之外，Google 還推出了 ShieldGemma 安全模型，類似 Meta 的 Llama Guard，可以用來偵測語言模型的不當請求和不當回應。
ShieldGemma 目前主要針對仇恨言論、騷擾、露骨內容和危險內容這四個領域進行設計，並依照模型規模分為 2B、9B、27B 三種大小。
Gemma Scope：深入模型內部的探測器
Gemma Scope 是一個基於 SAE（稀疏自編碼器）的模型解釋工具，Google 在 Gemma 2 9B 和 2B 的每一層及子層輸出上，訓練了超過 400 個 SAE，試圖解釋 Gemma 2 模型的內部行為。
研究人員未來可能可以使用 Gemma Scope 來了解模型為何會產生幻覺等問題，並藉此解決模型中的偏差。
目前，我們可以透過 Neuronpedia(https://www.neuronpedia.org/gemma-scope#main) 來試用這個技術。
總結
Gemma 2 2B 的推出，證明了小參數模型也能擁有出色的表現，而 ShieldGemma 和 Gemma Scope 的發布，則展現了 Google 在模型安全和模型解釋方面的努力。相信在未來，Gemma 2 系列模型將在各個領域發揮更大的作用。
