谷歌正式推出开源大模型 Gemma,声称可以超越 Llama2 等竞品

资讯2个月前发布 AIGC学院
33 0

日前,谷歌方面宣布推出新的开源 AI 大语言模型 Gemma 系列,并称其是 ” 最先进的 ” 轻量级开放模型系列,可以协助开发者和研究人员负责任地免费构建 AI。目前 Gemma 已在全球范围内开放使用,用户可在 Kaggle、Hugging Face 等平台进行下载和试用。

据了解,Gemma 之名来源于意大利语 ” 宝石 “,是由谷歌 DeepMind 及其他团队合作开发,采用了与谷歌于 2023 年 12 月发布的多模态通用大模型 Gemini 相同的技术,并与后者共享技术和基础架构。对此谷歌方面表示,这也是 Gemma 性能强大的重要原因所在。

谷歌正式推出开源大模型 Gemma,声称可以超越 Llama2 等竞品

目前已公布的 Gemma 系列包括两种版本,分别是 Gemma 2B(20 亿参数)和 Gemma 7B(70 亿参数),且均提供预训练版本和可通过指令优化的变体,其中 Gemma 2B 甚至可直接在笔记本电脑上运行。据了解,Gemma 2B 和 Gemma 7B 分别针对来自网络文档、数学和代码的 2T 及 6T 规模英文标注数据进行训练,前者针对计划运用高性能 AI 芯片和数据中心开发 AI 软件的客户,后者则更适合想要构建更具经济效益应用的客户。但需要注意的是,不同于 Gemini,Gemma 不支持多模态、而是专注于文本领域,并且没有针对多语言任务进行训练。

 

性能方面,据谷歌公布的相关成绩显示,Gemma 在 MMLU、MBPP 等 18 个基准测评中的平均成绩,击败目前的主流开源模型 Llama2 和 Mistral,特别是在数学和代码能力上表现突出,还登顶了 Hugging Face 开源大模型排行榜。

值得一提的是,谷歌方面强调,Gemma 使用了自研 AI 加速芯片 TPUv5e 进行训练,其中 Gemma 7B 使用了 4096 个 TPUv5e,Gemma 2B 使用了 512 个 TPUv5e。而且日前谷歌方面还透露已与英伟达达成合作,将使用后者的 TensorRT-LLM 对 Gemma 进行优化。

据悉,除 Gemma 之外,谷歌方面还推出了鼓励协作的工具,以及负责任地使用这些模型的指南。具体而言,谷歌推出了 Responsible Generative AI Toolkit 等一系列工具,为开发者使用 Gemma 创建更安全的 AI 应用提供指导。此外还提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多个框架工具,并支持基于 Google Cloud 的优化,以及在笔记本电脑、台式机、物联网、移动设备和云端等多个跨设备中兼容,从而让 Gemma 实现推理和微调。

对此,谷歌开发者关系主管珍妮 · 班克斯(Jeanine Banks)表示,Gemma 的发布是对谷歌旗舰模型 Gemini 的补充。她指出,谷歌在征求开发者反馈后发现,许多开发者不仅使用 API,还使用开源模型,而且开发者希望使用自己的数据构建开源模型应用,或是在自己的硬件或基础设施上进行测试。此外她还进一步指出,” 我们认为 Gemma 的开源真正支持的是这种跨平台模式 “。

(来源:三易生活)

© 版权声明

相关文章

暂无评论

暂无评论...