Gemma

Gemma简介

Gemma是谷歌推出的轻量级、最先进的开源模型系列，基于用于创建Gemini模型的相同研究和技术构建。Gemma由Google DeepMind和谷歌其他团队开发，灵感来自Gemini，其名称源自拉丁语gemma，意为“宝石”。该系列包括仅文本和多模态解码器专用大语言模型，具有开放权重、预训练变体和指令调优变体。

发布与版本

技术特点

Gemma模型与Gemini共享技术和基础设施组件，最初的Gemma 2B和7B在同类尺寸中相比其他开放模型实现了同类最佳性能，同时能够直接在开发者的笔记本电脑或台式电脑上运行。谷歌表示，Gemma在关键基准测试中超越了规模大得多的模型，同时坚持严格的安全和负责任输出标准。

Gemma提供推理和监督微调（SFT）的工具链，支持所有主要框架：JAX、PyTorch和TensorFlow（通过原生Keras 3.0），以及现成的Colab和Kaggle笔记本，并与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM集成。预训练和指令调优的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，并可轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上，并针对NVIDIA GPU和Google Cloud TPU进行了优化。

安全与责任

Gemma的设计以谷歌的AI原则为首要考虑：自动化技术过滤了训练集中的某些个人信息和其他敏感数据，广泛的微调和基于人类反馈的强化学习（RLHF）使指令调优模型与负责任的行为保持一致。谷歌进行了稳健的评估，包括手动红队测试、自动化对抗性测试和危险活动能力评估，并记录在模型卡中。随发布还提供了新的负责任生成式AI工具包，包含安全分类方法、模型调试工具和最佳实践指南。

生态系统与部署

Gemma的官方PyTorch实现提供了使用PyTorch和PyTorch/XLA的模型和推理实现，支持在CPU、GPU和TPU上进行推理，模型检查点可在Kaggle和Hugging Face上获取。Gemma 3附带了一个改进的代码库，包括高效微调和推理的配方，并与Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、vLLM和Gemma.cpp集成，提供包括Vertex AI、Cloud Run和Google GenAI API在内的部署选项。

Gemma系列还发展出专门的变体，包括CodeGemma、RecurrentGemma和PaliGemma，每个变体都为不同的AI任务提供独特的功能。