Google 發布全新Gemma 2模型 提升AI應用效能
人工智慧有潛力解決人類一些最迫切的問題——但前提是每個人都擁有使用它建構的工具。這就是為什麼今年早些時候我們推出了 Gemma，這是一個輕量級、最先進的開放模型系列，採用與創建 Gemini 模型相同的研究和技術而構建。我們不斷壯大 Gemma 系列，包括 CodeGemma、RecurrentGemma 和 PaliGemma，每個產品都為不同的 AI 任務提供獨特的功能，並且可以透過與 Hugging Face、NVIDIA 和 Ollama 等合作夥伴的整合輕鬆存取。
現在我們正式向全球研究人員和開發人員發布 Gemma 2。 Gemma 2 提供90 億(9B) 和270 億(27B) 參數大小，比第一代具有更高的性能和推理效率，並且內建了顯著的安全改進。競爭力的替代方案其尺寸超過兩倍的型號，提供了僅在 12 月的專有型號才有可能實現的性能。 現在可以在單一 NVIDIA H100 Tensor Core GPU 或 TPU 主機上實現這一目標，從而顯著降低部署成本。
效率和性能的新開放模型標準
我們在重新設計的架構上建構了 Gemma 2，旨在實現卓越的性能和推理效率。這就是它脫穎而出的原因：
- 超大性能：Gemma 2 的尺寸為 27B，在其尺寸級別中提供了最佳性能，甚至為尺寸兩倍以上的型號提供了有競爭力的替代品。 9B Gemma 2 型號還提供同類領先的性能，優於 Llama 3 8B 和同尺寸類別中的其他開放型號。
- 無與倫比的效率和成本節省：27B Gemma 2 模型旨在在單一 Google Cloud TPU 主機、NVIDIA A100 80GB Tensor Core GPU 或 NVIDIA H100 Tensor Core GPU 上以全精度高效運行推理，從而在保持高效能的同時顯著降低成本。這使得人工智慧部署更加容易存取且經濟實惠。
- 跨硬體的極速推理：Gemma 2 經過最佳化，可以在各種硬體上以令人難以置信的速度運行，從功能強大的遊戲筆記型電腦和高階桌上型電腦到基於雲端的設定。 在 Google AI Studio 中以全精度嘗試 Gemma 2，透過 CPU 上的 Gemma.cpp 的量化版本解鎖本機效能，或透過 Hugging Face Transformers 在配備 NVIDIA RTX 或 GeForce RTX 的家用電腦上嘗試。
專為開發人員和研究人員打造
Gemma 2 不僅功能更強大，而且旨在更輕鬆地整合到您的工作流程中：
- 開放且易於存取：就像最初的 Gemma 模型一樣，Gemma 2 可在我們商業友好的 Gemma 許可證下使用，使開發人員和研究人員能夠共享其創新並將其商業化。
- 廣泛的框架相容性：Gemma 2 透過本機Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和Ollama 與Hugging Face Transformers、JAX、PyTorch 和TensorFlow 等主要AI 框架相容，可以輕鬆地將Gemma 2 與您喜歡的工具和工作流程結合使用。 此外，Gemma 透過 NVIDIA TensorRT-LLM 進行了最佳化，可在 NVIDIA 加速基礎架構上運行或作為 NVIDIA NIM 推理微服務運行，並且還將針對 NVIDIA NeMo 進行最佳化。 您今天可以使用 Keras 和 Hugging Face 進行微調。 我們正在積極努力啟用額外的參數高效微調選項。
- 輕鬆部署：從下個月開始，Google Cloud 客戶將能夠在 Vertex AI 上輕鬆部署和管理 Gemma 2。
探索新的 Gemma Cookbook，這是一系列實際範例和食譜，可指導您建立自己的應用程式並針對特定任務微調 Gemma 2 模型。了解如何輕鬆地將 Gemma 與您選擇的工具結合使用，包括執行檢索增強生成等常見任務。
負責任的人工智慧開發
我們致力於為開發人員和研究人員提供負責任地建置和部署 AI 所需的資源，包括透過我們的 Responsible Generative AI Toolkit。 最近開源的LLM Comparator可以幫助開發人員和研究人員對語言模型進行深入評估。從今天開始，您可以使用配套的 Python 程式庫對模型和資料進行比較評估，並在應用程式中視覺化結果。 此外，我們正在積極致力於為 Gemma 模型開源文字浮水印技術 SynthID。
在訓練 Gemma 2 時，我們遵循強大的內部安全流程，過濾預訓練數據，並根據一組全面的指標進行嚴格的測試和評估，以識別和減輕潛在的偏差和風險。我們在與安全和代表性危害相關的大量公共基準上發布我們的結果。
與 Gemma 一起建構的項目
我們的第一次 Gemma 發布帶來了超過 1000 萬次下載和無數鼓舞人心的項目。例如，Navarasa 利用 Gemma 創建了一個植根於印度語言多樣性的模型。
現在，Gemma 2 將幫助開發人員啟動更雄心勃勃的項目，釋放人工智慧創作的新性能和潛力水平。我們將繼續探索新的架構並開發專門的 Gemma 變體，以應對更廣泛的人工智慧任務和挑戰。 其中包括即將推出的 2.6B 參數 Gemma 2 型號，旨在進一步縮小輕量級可訪問性和強大性能之間的差距。您可以在技術報告中了解即將發布的版本的更多資訊。
入門
Gemma 2 現已在 Google AI Studio 中提供，因此您可以在 27B 下測試其全部效能，無需任何硬體要求。您也可以從 Kaggle 和 Hugging Face Models 下載 Gemma 2 的模型權重，Vertex AI Model Garden 即將推出。
為了支持研究和開發，Gemma 2 還可以透過 Kaggle 或 Colab 筆記本的免費套餐免費提供。首次使用 Google Cloud 的客戶可能有資格獲得 300 美元的贈金。學術研究人員可以申請 Gemma 2 學術研究計劃，以獲得 Google Cloud 積分，以加速他們使用 Gemma 2 的研究。
相關連結：
