突发!马斯克开源3140亿参数的Grok!人类之光?

资讯4个月前更新 AIGC学院
56 0

突发!马斯克开源3140亿参数的Grok!人类之光?智东西
作者 | 云鹏
编辑 | 心缘

6个月掏出3410亿参数自研大模型,马斯克说到做到!

智东西3月18日消息,就在刚刚,马斯克的AI创企xAI正式发布了此前备受期待大模型Grok-1,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿。

这是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。

突发!马斯克开源3140亿参数的Grok!人类之光?

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。

xAI已经将Grok-1的权重和架构在GitHub上开源。

突发!马斯克开源3140亿参数的Grok!人类之光?

GitHub地址:

https://github.com/xai-org/grok-1?tab=readme-ov-file

目前Grok-1的源权重数据大小大约为300GB。

截至北京时间3月18日上午7时许,Grok-1项目收获了3400颗星。

突发!马斯克开源3140亿参数的Grok!人类之光?

Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。

xAI是马斯克去年刚刚成立的明星AI创企,其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争,其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

此前马斯克刚刚“怒喷”OpenAI不够“Open”,后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”,但最终他并没有食言。

今天,xAI还公布了Grok-1的更多细节:

基础模型基于大量文本数据训练,未针对特定任务进行微调。

3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%。

xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。

但此次xAI并没有放出Grok-1的具体测试成绩,其与OpenAI即将发布的GPT-5的大模型王者之战,必将成为业内关注的焦点。

当然,马斯克发大模型,怎么会少的了大佬隔空对线“互怼”?

xAI官方消息刚刚发布,ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动,在Grok官方账号评论下回复道:“偷了我的笑话。”

突发!马斯克开源3140亿参数的Grok!人类之光?

马斯克自然不会示弱,马上说请告诉我OpenAI“Open”之处在哪里。

马斯克高仿号也马上跑过来添油加醋,说我们都知道是Sam在运营ChatGPT的账号。

值得一提的是,此次xAI发布Grok-1消息的封面图片,是由Midjourney生成,Grok给出了提示文本:一个神经网络的3D插图,具有透明节点和发光连接,展示不同粗细和颜色的连接线的不同权重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines)。

原图:

突发!马斯克开源3140亿参数的Grok!人类之光?
(来源:智东西)
© 版权声明

相关文章

暂无评论

暂无评论...