谷歌發(fā)布最先進的開放模型Gemma

作者：

Jeanine Banks

Developer X 和開發(fā)者關(guān)系副總裁兼總經(jīng)理

Tris Warkentin

Google DeepMind 總監(jiān)

在 Google，我們致力于讓 AI 助力每個人。長期以來，我們對開放社區(qū)的創(chuàng)新貢獻了許多成果，如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode。今天，我們很高興地介紹 Google 的新一代開放模型，以協(xié)助開發(fā)者和研究人員負責任地構(gòu)建 AI。

開放模型 Gemma

Gemma 是先進的輕量級開放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。受到 Gemini 的啟發(fā)，Google DeepMind 和 Google 其他團隊合作開發(fā)了 Gemma，并用拉丁語中意為 "寶石" 的 gemma 為其命名。在發(fā)布模型權(quán)重的同時，我們還推出了一系列工具，旨在支持開發(fā)者創(chuàng)新，促進合作，并指導如何負責任地使用 Gemma 模型。

從今天起，Gemma 在全球范圍內(nèi)開放使用。以下是有關(guān)該模型的關(guān)鍵細節(jié):

我們將發(fā)布兩種權(quán)重規(guī)模的模型: Gemma 2B 和 Gemma 7B。每種規(guī)模都有預訓練和指令微調(diào)版本。

新的 Responsible Generative AI Toolkit 為使用 Gemma 創(chuàng)建更安全的 AI 應用程序提供指導和必備工具。

我們通過原生 Keras 3.0 為所有主要框架 (JAX、PyTorch 和 TensorFlow) 提供推理和監(jiān)督微調(diào) (SFT) 的工具鏈。

上手即用 Colab 和 Kaggle notebooks，以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具集成，讓開始使用 Gemma 變得簡單容易。

經(jīng)過預訓練和指令微調(diào)的 Gemma 模型可以在您的筆記本電腦、工作站或 Google Cloud 上運行，并可輕松部署在 Vertex AI 和 Google Kubernetes Engine (GKE) 上。

基于多個 AI 硬件平臺進行優(yōu)化，確保業(yè)界領(lǐng)先的性能表現(xiàn)，其中包括 NVIDIA GPUs 和 Google Cloud TPUs。

使用條款允許所有組織 (無論規(guī)模大小) 負責任地進行商用和分發(fā)。

同等規(guī)模最領(lǐng)先的性能

Gemma 模型與我們規(guī)模最大、能力最強的 AI 模型 Gemini 共享技術(shù)和基礎(chǔ)架構(gòu)。這使得 Gemma 2B 和 7B 與其他開放模型相比，展現(xiàn)出同等規(guī)模最先進的性能。同時，Gemma 可以直接在開發(fā)者的筆記本電腦或臺式機上運行。值得注意的是，Gemma 在關(guān)鍵基準測試集上大大超過了更大的模型，同時還嚴格遵守了我們對安全和負責任輸出的標準。有關(guān)性能、數(shù)據(jù)集對比和建模方法的詳細信息，請參見技術(shù)報告。

負責任的設計

Gemma 在設計時將我們的 AI 原則放在首位。為了使 Gemma 預訓練模型安全可靠，我們使用自動技術(shù)，從訓練集中過濾掉特定的個人信息及其他敏感數(shù)據(jù)。此外，我們進行了大量的微調(diào)和人類反饋強化學習 (RLHF)，使我們的指令微調(diào)模型與負責任的行為保持一致。為了解并降低 Gemma 模型帶來的風險，我們進行了強有力的評估，包括手工紅隊測試、自動對抗性測試，以及對危險活動的模型能力評估。我們在 Model Card 中闡述了這些評估。

我們與 Gemma 一道發(fā)布了新的 Responsible Generative AI Toolkit，幫助開發(fā)者和研究人員優(yōu)先構(gòu)建安全和負責任的 AI 應用。這些工具包括:

安全分類:我們提供了一種新的方法，可利用最少的樣品來構(gòu)建穩(wěn)定的安全分類器。

調(diào)試工具:模型式調(diào)式工具幫助你了解 Gemma 的行為，并解決潛在的問題。

應用指南:你可以根據(jù) Google 在開發(fā)和部署大型語言模型方面的經(jīng)驗，獲取模型構(gòu)建者的最佳實踐。

跨框架、工具和硬件的優(yōu)化

您可以基于自己的數(shù)據(jù)微調(diào) Gemma 模型以適應特定應用需求，例如摘要或檢索增強生成 (RAG)。Gemma 可支持多種工具和系統(tǒng)：

多框架工具:Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架的參考實現(xiàn)，您可以選擇熟悉的框架進行推理和微調(diào)。

跨設備兼容:Gemma 模型可以在筆記本電腦、臺式機、物聯(lián)網(wǎng)、移動設備和云端等多個主流設備類型上運行，支持廣泛的 AI 功能。

前沿的硬件平臺:我們與 NVIDIA 合作，使用 NVIDIA GPU 來優(yōu)化 Gemma 模型，確保業(yè)界領(lǐng)先的性能與前沿技術(shù)的整合應用。

基于 Google Cloud 的優(yōu)化:Vertex AI 提供廣泛的 MLOps 工具集，其中包含一系列微調(diào)選項和內(nèi)置推理優(yōu)化的一鍵部署功能。您可以使用完全托管的 Vertex AI 工具或自行管理的 GKE 來進行高級定制，以經(jīng)濟高效的方式自行選擇部署在 GPU、TPU 或 CPU 基礎(chǔ)設施上。

免費的積分來進行研究和開發(fā)

Gemma 為開放社區(qū)構(gòu)建，旨在推動開發(fā)者和研究人員的 AI 創(chuàng)新。您可以通過 Kaggle 的免費訪問權(quán)限、Colab notebooks 免費層、以及 Google Cloud 新用戶可獲得的 300 美元積分立即開始使用 Gemma。研究人員還可以申請高達 50 萬美元的 Google Cloud 積分以加速他們的項目。

入門指南

您可以在 ai.google.dev/gemma 了解更多關(guān)于 Gemma 的信息并訪問快速入門指南。

隨著 Gemma 模型系列的不斷擴展，我們期待看到基于 Gemma 的多元化應用出現(xiàn)。敬請關(guān)注未來幾周的活動和機會，與我們進行交流、學習并使用 Gemma 進行開發(fā)構(gòu)建。

審核編輯：湯梓紅