日前，谷歌方面宣布推出新的开源 AI 大语言模型 Gemma 系列，并称其是 ” 最先进的 ” 轻量级开放模型系列，可以协助开发者和研究人员负责任地免费构建 AI。目前 Gemma 已在全球范围内开放使用，用户可在 Kaggle、Hugging Face 等平台进行下载和试用。
据了解，Gemma 之名来源于意大利语 ” 宝石 “，是由谷歌 DeepMind 及其他团队合作开发，采用了与谷歌于 2023 年 12 月发布的多模态通用大模型 Gemini 相同的技术，并与后者共享技术和基础架构。对此谷歌方面表示，这也是 Gemma 性能强大的重要原因所在。
目前已公布的 Gemma 系列包括两种版本，分别是 Gemma 2B（20 亿参数）和 Gemma 7B（70 亿参数），且均提供预训练版本和可通过指令优化的变体，其中 Gemma 2B 甚至可直接在笔记本电脑上运行。据了解，Gemma 2B 和 Gemma 7B 分别针对来自网络文档、数学和代码的 2T 及 6T 规模英文标注数据进行训练，前者针对计划运用高性能 AI 芯片和数据中心开发 AI 软件的客户，后者则更适合想要构建更具经济效益应用的客户。但需要注意的是，不同于 Gemini，Gemma 不支持多模态、而是专注于文本领域，并且没有针对多语言任务进行训练。
性能方面，据谷歌公布的相关成绩显示，Gemma 在 MMLU、MBPP 等 18 个基准测评中的平均成绩，击败目前的主流开源模型 Llama2 和 Mistral，特别是在数学和代码能力上表现突出，还登顶了 Hugging Face 开源大模型排行榜。
值得一提的是，谷歌方面强调，Gemma 使用了自研 AI 加速芯片 TPUv5e 进行训练，其中 Gemma 7B 使用了 4096 个 TPUv5e，Gemma 2B 使用了 512 个 TPUv5e。而且日前谷歌方面还透露已与英伟达达成合作，将使用后者的 TensorRT-LLM 对 Gemma 进行优化。
据悉，除 Gemma 之外，谷歌方面还推出了鼓励协作的工具，以及负责任地使用这些模型的指南。具体而言，谷歌推出了 Responsible Generative AI Toolkit 等一系列工具，为开发者使用 Gemma 创建更安全的 AI 应用提供指导。此外还提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多个框架工具，并支持基于 Google Cloud 的优化，以及在笔记本电脑、台式机、物联网、移动设备和云端等多个跨设备中兼容，从而让 Gemma 实现推理和微调。
对此，谷歌开发者关系主管珍妮 · 班克斯（Jeanine Banks）表示，Gemma 的发布是对谷歌旗舰模型 Gemini 的补充。她指出，谷歌在征求开发者反馈后发现，许多开发者不仅使用 API，还使用开源模型，而且开发者希望使用自己的数据构建开源模型应用，或是在自己的硬件或基础设施上进行测试。此外她还进一步指出，” 我们认为 Gemma 的开源真正支持的是这种跨平台模式 “。
（来源：三易生活）
相关文章