谷歌正式推出开源大语言模型 Gemma，声称超越 Meta Llama-2 竞品
李志飞在文章中表示，相比于去年上半年就开源，现在可能要花数倍的努力进行模型的差异化以及推广的投入，才有可能在众多开源模型中脱颖而出。” 面对 OpenAI 的强力竞争，只有杀敌一千、自损一千五。”
以下为李志飞全文：
看到 Google 开源了小的语言模型 Gemma，直接狙击 Llama 2，回顾去年 5 月对 Google 关于开源和竞争的看法，几点思考如下：
1. 时间有点晚：相比于去年上半年就开源，现在可能要花数倍的努力进行模型的差异化以及推广的投入，才有可能在众多开源模型中脱颖而出。
2. 开源力度不够：感觉这次开源还是被动防御和略显扭捏的应对之策，不是进攻。比如说，开个 7B 的模型实在是太小儿科了，一点杀伤力都没有。应该直接开源一个超越市场上所有开源的至少 100B 的模型、1M 的超长上下文、完善的推理 infra 方案、外加送一定的 cloud credit。是的，再不歇斯底里 Google 真的就晚了。面对 OpenAI 的强力竞争，只有杀敌一千、自损一千五。
3. 未放下高贵的头颅：有种感觉，Google 觉得自己还是 AI 王者，放不下高贵的头颅，很多发布都有点不痛不痒，还是沿着过去研发驱动的老路而不是产品和竞争驱动，比如不停发论文、取新名字（多模态相关模型过去半年就发了 Palme、RT-2、Gemini、VideoPoet、W.A.L.T 等）、发布的模型又完整度不够，感觉就没有一个绝对能打的产品。Google 可能要意识到在公众眼中，他在 AI 领域已经是廉颇老矣溃不成军，经常起大早赶晚集（比如说这次 Sora 借鉴的 ViT、ViViT、NaVit、MAGVit 等核心组件技术都是它家写的论文）。
4. 希望亡羊补牢未为晚也：Google 作为一个僵化的大公司，动作慢一点可以理解，但是如果再不努力是不是就是 PC 互联网的 IBM、移动互联网的 Microsoft？ 作为 Google 的铁粉，还是希望他能打起精神一战，AI 产业需要强力的竞争才能不停向前发展，也需要他在前沿研究和系统的开源才能帮助一大众 ” 贫穷 ” 的 AI 创业公司。
5. 另外，除了对外开源外，Google 应该组成三个方阵面对大模型的竞争，详见去年 3 月发文。
回顾科技竞争史，PC 互联网时代的 IBM、移动互联网时代的 Microsoft、AGI 时代的 Google，新时代来临后，难道上一个时代科技霸主都难逃衰落的宿命？
当然，Microsoft 靠 Office SaaS、云和 OpenAI 又翻盘了。
历史的铁律，有被改写的可能吗？
附：李志飞 2023 年 3 月发文《四面楚歌的 Google 如何应战大模型？》
硅谷大模型的战场正如火如荼、烽烟四起，四面楚歌的 Google 被困垓下，身影落寞。
前有 OpenAI 和微软联手设局，把 Google 拖入生死战，后有 Meta 发力开源、搅乱战局，很快 Amazon 也将不甘寂寞加入混战。外界看来，面对 ChatGPT 的偷袭慌了阵脚的 Google，此时多年的技术自信心倍受重挫，应战的前几步方寸已乱。
隔岸观火者，不禁会问，稳坐多年 AI 霸主的 Google 尚能饭否？
面对当前困局，以及从溃败于 OpenAI 的原因来看，一般的谋略建议可能是 Google 此时应将分散的兵力凝于一心，组成一支铁血悍军全力攻防。但是，我倒觉得 Google 可以重新排兵布阵，将 Google Brain 的研发资源兵分三路应战（后面解释 why）。
第一路：内部升级方阵大模型的能力有目共睹，Google 可以且必须在自己的各种应用（如 Search、Youtube、Google Docs、Android、Google Maps 等）里整合这些能力。
Google Brain 可以组建一支专门的大模型研发团队，先把底层基础大模型炼好，目标应用场景就是内部各大产品线。同时，这支团队要与 Google 各大产品的 Owner 们联手一起，协助对基础大模型进行各种精修，从而达到上线标准。
在精修过程中，可以用到很多内部独有的数据源、为应用提供独特的接口、针对应用进行 Alignment 训练，以及各种推理优化。通过以上努力，将模型的质量和性能做到业界极致，重拾 Google 内部的技术自信心，以及外界的 perception。
第二路：开源和平台方阵
除了内部升级方阵之外，Google Brain 可以组建一支行业大模型团队，目的是做开源和开放平台，赋能各行各业，从而构建生态。
有别于内部升级模型追求极致的质量和性能， 开源和平台更多是广度的服务。而且，与对 Meta 的建议一样，对那些性能没有达到极致，但足够第三方使用的模型和系统，Google 应该真心全意、倾其所能地开源：数据、训练和推理代码、丰富的模型 checkpoints 都毫无保留地提供（如果某些第三方数据不能直接提供，可以给出数据源链接以及预处理方式）。
开源看似简单，但对大公司却是一个复杂的过程，要从流程和法务角度做很多内部 review 和风险防范。另外，由于大模型还是一个新鲜事物，外部开发者需要很多帮助才能真正把开源玩起来。所以 Google 除了态度诚恳之外，还要真正投入研发、人力，把开源服务做到极致。
做开放平台也是类似，在价格上可以非常激进，对普通用户甚至提供限量的免费，对那些量比较大或者精修要求很多的平台则可大胆收费。开源和平台不冲突，只是针对不同需求和行业，目的都是服务好上下游，也给上下游足够的灵活性和安全感。从组织结构上，可将这一方阵放在 Google Cloud Platform ( GCP）团队。
也许有人疑问，开源和免费，Google 是「活雷锋」吗？是的，按照目前的竞争局势下去，基础大模型的竞争壁垒会大幅度降低，大概率与 Android 一样，本身只是一个引流款，而没有商业模式，通过 Google GMS 消费端全家桶和 Cloud GCP 实现商业变现，或其他创新商业模式。既然基础大模型难有独立的可规模化的商业模型，与其迟疑不决，不如抢占「活雷锋」先机。
第三路：探索未来方阵
目前 OpenAI 已探索出一条「暴力美学」之路，未来十年，其规模大概率还可以再提升 10 个数量级（下次专门写为何是 10 个数量级）。前面的两支方阵是「拥抱确定性」，与 OpenAI 一样走向已被证明的极致暴力之路。但对 Google 来说，这不是唯一的路。
Google Brain 可以另组一支方阵，专门针对模型结构、数据处理、分布式计算、推理优化等方面探索未来的可能性。这支方阵的目的是求新、求异、出奇制胜，可以先在小模型上进行百花齐放式的探索，一旦发现新的可能性，立刻在超大模型跟进。
分兵三阵的原因
大役临前，「分散精力」看起来是一记平庸昏招，但对 Google 实则不然，其中最主要的假设是 Google Brain 拥有 10 倍于 OpenAI 的研发能力。
规模 1000 人的 Google Brain，有一众既能搞研究也能做工程的一流 PhD，而 OpenAI 与 LLM 相关的研发规模仅百余人。如果将 Google Brain 的 1000 多人全部用于内部升级，于管理将是巨大的挑战。
做大模型是一项重于「人才密度」的事情，人多反而人浮于事，可能导致很多真正优秀人才跳槽硅谷其他公司，作他人嫁衣。兵分三路，各凭兴趣加入战队，既能留有人才，也为同时做三件事保留多种机会。
以上三个方阵的大致资源分配可以是 60%，25%，15%。人员既定，没有新的 cost；算力需求可能是单一方阵的 2 倍；数据预算可能是单一方阵的 1.5 倍。
三支方阵，各自目标明确，除了最底层的分布式训练架构统一外，其他方面互相协作最好（如基础大模型、数据等），如不能协作，有冗余也在 Google 承受之力以内。用不到两倍的资源换取超两倍的胜率，物超所值。
有人不免疑惑，这不就是 Google Brain 过去「一团散沙」的现状吗？其实不然，过去的一团散沙是 Bottom-Up 自发而成，没有具象的目标和组织方式，在敌军面前仅有技术自由的旗帜，并无强劲战斗力。而现在更多是 Top-Down 的战略分阵，各自目标和组织方式明确，战力倍增。
执行难度
当然，以上策略需要辅以极强的 leadership 和组织能力。具体来说，需要：
1、一位强有力的 CEO；
2、每支方阵需要一位强将 leader；
3、内部各产品线 owner 和各支撑衙门的配合；
4、内部高度统一思想，获得大多数前线工程师和一线管理者的内心认可与支持。
（如果任何一个条件打折扣，就当我没说）
如果内部执行不可能，那么另外一种可能就是通过投资并购的方式来构建方阵。
战术总结：「攻、守、机」连战连捷
内部方阵与自己各大产品结合，在大模型势不可挡的趋势下，此为「防」；开源和平台方阵拉拢上下游生态，打掉 OpenAI 的商业模式和迅速扩散的势能，此为「攻」；探索方阵在 OpenAI 路线之外探索其它可能，是为「机」。以此攻、防、机三面出击，若调度得当，方可蓄力而勃发，让 Google 走出目前的泥沼。
历史上，这不是 Google 的第一次四面楚歌，但也不会是最后一次巨鹿之战。
最后，一番思考后，我把思路抛给 ChatGPT。于是 , 它给 Google Brain 制定了新季度 OKR ……
（来源：飞哥说AI）