谷歌最強開源模型Gemma 2發(fā)布！270億參數(shù)奇襲Llama 3，單張A100可全精度推理

作者 |??ZeR0，編輯?|??漠影

可在單張A100/H100?GPU或TPU主機上高效運行全精度推理。

智東西6月28日報道，谷歌在I/O Connect大會上放大招，公布其新一代最強開源模型——Gemma 2。Gemma 2有90億（9B）和270億（27B）兩種參數(shù)規(guī)模可用。27B模型訓(xùn)練了13T tokens，9B是8T tokens，都擁有8192上下文窗口，可在Google AI Studio中使用。

26億參數(shù)（2.6B）模型將很快發(fā)布，小到可以在手機本地運行。在盲測大語言模型競技場LMSYS Chatbot Arena中，270億參數(shù)的Gemma 2指令微調(diào)模型擊敗了擁有700億參數(shù)的Llama 3，并超過Nemotron 4 340B、Claude 3 Sonnet、Command R+、Qwen 72B等模型，在所有開源權(quán)重的模型中位列第一；9B模型則是當(dāng)前15B以下參數(shù)的模型中成績最好的。

谷歌在今年早些時候推出輕量級先進開源模型Gemma，只有2B和7B參數(shù)版本，下載量超過1000萬次。Gemma 2涵蓋從20億到270億參數(shù)，比第一代性能更高、推理效率更高，并且顯著改進安全性。這是該系列模型邁出的一大步。270億參數(shù)的Gemma 2提供了與兩倍以上參數(shù)的模型競爭的替代方案，提供了直到去年12月才可能實現(xiàn)的性能，而且可以在單個英偉達A100/H100 Tensor Core GPU或TPU主機上以全精度高效運行推理，大大降低了部署成本。

在Hugging Face的基準(zhǔn)上，谷歌將Gemma 2 27B與具有類似尺寸的Qwen1.5 32B進行了比較，還報告了Llama 3 70B的性能。Gemma 2 27B的尺寸只有Llama 3 70B的40%，訓(xùn)練數(shù)據(jù)少到Llama 3 70B的2/3。結(jié)果顯示，Gemma 2 27B優(yōu)于Qwen1.5 32B，比Llama 3 70B低幾個百分點。

01.重新設(shè)計架構(gòu)，Gemma 2有三大特點

Gemma 2的技術(shù)報告共15頁，介紹了其架構(gòu)的多項技術(shù)改進，包括交替使用局部-全局注意力機制和分組查詢注意力，還使用知識蒸餾而不是下一個token預(yù)測來幫助訓(xùn)練較小的2B和9B模型。

▲Gemma模型的參數(shù)量

2.6B模型在一個TPUv5e集群的2x16x16配置上訓(xùn)練，總共用了512張芯片。9B模型在TPUv4集群的8x16x32配置上訓(xùn)練，總共4096張芯片。27B模型在TPUv5p集群的8x24x32配置上訓(xùn)練，總共用了6144張芯片。

▲用切分訓(xùn)練基礎(chǔ)設(shè)施

針對更高的性能和推理效率，谷歌在重新設(shè)計的架構(gòu)上構(gòu)建了Gemma 2。該模型采用與Gemma 1.1相似的算法配方，但用了更多的teacher監(jiān)督并執(zhí)行了模型合并。在編程、數(shù)學(xué)、推理、安全等能力上，Gemma 2都比1.1版本提升顯著。

▲主要模型參數(shù)及設(shè)計選擇的概述

結(jié)果，Gemma 2模型在其規(guī)模上提供了最佳性能，甚至提供了與大2-3倍的模型競爭的替代方案。以下是其突出的特點：

（1）卓越性能：Gemma 2 27B在其同類大小中提供了最佳性能，甚至提供了與兩倍以上大小的模型競爭的替代方案。Gemma 2 9B模型也提供了領(lǐng)先的性能，超過了Llama 3 8B和其他同類大小的開源模型。

谷歌在各種基準(zhǔn)上比較2.6B、9B及27B模型，報告了可以與Llama 3進行比較的8個基準(zhǔn)測試的平均性能，以及所有基準(zhǔn)測試的平均性能。Llama 3 8B的數(shù)據(jù)來自HuggingFace leaderboard或其博客。

在MMLU上，9B模型得分為71.3，27B模型為75.2；在AGIEval上，9B模型得分52.8，27B模型得分55.1；在HumanEval上，9B模型得分40.2，27B模型得分51.8。

（2）無與倫比的效率和成本節(jié)省：Gemma 2 27B模型設(shè)計用于在單個谷歌云TPU主機、英偉達A100 80GB Tensor Core GPU或H100 Tensor Core GPU上高效運行全精度推理，在保持高性能的同時顯著降低成本。這使得AI部署更加易于訪問和經(jīng)濟實惠。

（3）各種硬件的快速推理：Gemma 2經(jīng)過優(yōu)化，可以在各種硬件上以令人難以置信的速度運行，硬件從功能強大的游戲筆記本電腦和高端臺式機到基于云的設(shè)置。在Google AI Studio中以全精度試用Gemma 2，在CPU上使用Gemma.cpp的量化版本解鎖本地性能，或在家用計算機上通過Hugging Face Transformers在英偉達RTX或GeForce RTX上試用。

02.支持商業(yè)化，兼容廣泛框架，方便部署

Gemma 2為開發(fā)者和研究人員構(gòu)建，其設(shè)計更容易集成到工作流程中：

（1）開放且可訪問：與原始Gemma模型一樣，Gemma 2也是根據(jù)谷歌具有商業(yè)友好的Gemma許可發(fā)布的，允許開發(fā)人員和研究人員分享和商業(yè)化他們的創(chuàng)新。

（2）廣泛的框架兼容性：Gemma 2兼容主要的AI框架，如Hugging Face Transformers，以及通過原生Keras 3.0、vLLM、Gemma.cpp、Llama.cpp和Ollama的JAX、PyTorch和TensorFlow。此外，Gemma優(yōu)化了英偉達TensorRT-LLM以在英偉達加速基礎(chǔ)設(shè)施上運行或作為英偉達NIM推理微服務(wù)運行。用戶可以使用Keras和Hugging Face進行微調(diào)。谷歌正在積極努力實現(xiàn)更多參數(shù)高效的微調(diào)選項。

（3）輕松部署：從下個月開始，谷歌云客戶將能輕松在Vertex AI上部署和管理Gemma 2。新的Gemma Cookbook是一個包含實用示例和指南的集合，引導(dǎo)用戶構(gòu)建自己的應(yīng)用程序并為特定任務(wù)微調(diào)Gemma 2模型。

03.提供負(fù)責(zé)任的AI開發(fā)資源，嚴(yán)格測試評估模型安全性

在負(fù)責(zé)任的AI開發(fā)方面，谷歌提供負(fù)責(zé)任地構(gòu)建和部署AI所需的資源，包括負(fù)責(zé)任的生成式AI工具包。最近開源的LLM Comparator幫助開發(fā)者和研究人員深入評估語言模型。即日起，用戶可使用配套的Python庫與自己的模型和數(shù)據(jù)進行比較評估，并在應(yīng)用程序中可視化結(jié)果。

此外，谷歌正在積極致力于開源文本水印技術(shù)SynthID，用于Gemma模型。在訓(xùn)練Gemma 2時，谷歌遵循內(nèi)部安全流程，過濾了訓(xùn)練前的數(shù)據(jù)，并針對一套全面的指標(biāo)進行了嚴(yán)格的測試和評估，以識別和減輕潛在的偏見和風(fēng)險。谷歌在與安全性和代表性危害相關(guān)的大量公共基準(zhǔn)上公布了其結(jié)果。

04.結(jié)語：大模型研發(fā)趨于實用主義

谷歌Gemma 2的研究進展反映了當(dāng)前大模型研究趨勢，即探索用更輕量級的、更實用的模型來實現(xiàn)更強的性能，并確保易部署，以更好地滿足不同的用戶需求。谷歌為開發(fā)者和研究人員提供了使用這些模型的多種途徑。

Gemma 2現(xiàn)可在Google AI Studio中使用，可在沒有硬件要求的情況下測試其270億參數(shù)的全部性能，也可以從Kaggle和Hugging Face Models下載Gemma 2的模型權(quán)重，Vertex AI Model Garden即將推出。

通過Gemma 2，谷歌證明了蒸餾是訓(xùn)練此類模型的有效方法，基于輸出概率的訓(xùn)練能夠比純粹的下一個token預(yù)測產(chǎn)生更多的效果。模型仍存在局限性，需要未來研究來持續(xù)優(yōu)化事實性、對抗性攻擊的魯棒性以及推理和一致性。

為支持研究和開發(fā)，Gemma 2還可通過Kaggle免費獲得，或通過Colab筆記本的免費層獲得。首次使用谷歌云服務(wù)的用戶可能有資格獲得300美元的積分。學(xué)術(shù)研究人員可以申請Gemma 2學(xué)術(shù)研究計劃，以獲得谷歌云積分，加速對Gemma 2的研究。申請截止日期為8月9日。

來源：谷歌DeepMind