GLM下一代基座规模与供给计划传闻 · 话题榜 · TwKit
AI科技 · 2 帖 · 2 位作者 · 曝光 77214
输入中的专家纪要与消息转述称下一代GLM基座规模可能达到2.5万亿至3.5万亿参数,并涉及架构与上线供给能力。
- 传闻中的参数规模与架构变化有哪些具体内容
- Day1供给能力为何与模型性能同样受到关注
@NFT_Chen
🚨重磅爆料!GLM-5.4/5.5专家纪要流出:智谱下一代基座直接干到2.5-3.5T!还要Day1大规模供得上!有望比肩Claude Fable 5.1! 一份在投资圈流传的专家访谈纪要显示,智谱下一代基座模型,市场传闻的GLM-5.4/5.5 细节比此前预期更激进: 🔹参数规模大幅超预期:并非此前传闻的1.6万亿,实际在2.5万亿至3.5万亿区间。相比今年8月发布的GLM-5.3(约7440亿参数),规模扩大至约3.4-4.7倍。 🔹架构更激进:既要训得快,也要推得快,同时把推理速度和成本做成硬约束。目标是发布首日就能大规模提供服务,已有多家云厂商就分成模式洽谈,智谱也补强了infra团队。 🔹训练曾遇阻但已解决:预训练阶段一度出现Loss不降(持续投入算力指标却无法继续改善),激进架构风险较高。但受访者认为问题最近已经解决,预计很快完成训练。 🔹性能预期旗舰级:从目前情况判断,下一代表现有望达到Claude Fable级别的旗舰水平。 🔹核心目标:“发得出、供得上”——从架构设计阶段就解决大模型发布后供应不足的问题。 目前市场仍在牌桌上奔着3T规模去,智谱这次在规模+推理成本+大规模供给上同时发力,但因训练波折时间有所推迟。 坐等正式测评验证能否真达到Fable旗舰水平。 #智谱 #GLM #大模型 #AI #Claude #人工智能 #GLM54 #GLM55 #智谱AI #唐杰 #Zcode #Zai
查看原帖@MaxForAI
关于 @Zai_org 下一代GLM5.5的一些最新消息: - 下一代基座规模在2.5万亿至3.5万亿之间,比此前流传的1.6T大了不少。架构改动也比较激进,希望同时提高训练和推理速度,把推理成本压下来,目标是在发布第一天就能提供大规模服务。 - 前段时间基座训练出现了loss不降的情况,进度因此慢于市场预期。这个问题近期应该已经解决,预计能较快完成训练。 - 预计下一代GLM模型能达到Fable级别的旗舰水平。 - 会继续朝Claude的使用体感推进,在后训练阶段大量投入任务环境,通过持续迭代提升模型能力。GLM-5系列的一个基座可以使用半年以上,在同一基座上持续做后训练、更新能力,这也是他们目前比较明确的技术路线。 - 之前的RSI已经取得了一些进展,但目前还没有成为模型能力提升的主力,预计会在未来某个版本中进入服务。 我个人视角比较期待的是,这次GLM-5.5能不能把3T左右的模型规模、旗舰级的能力、推理速度和调用成本一起做好。 尤其是拿模型跑Agent,任务一长,就要连续调用很多轮。模型能不能把事情做完、要等多久、最后花多少钱、服务会不会限流,都会直接影响实际使用和销售的情况。
查看原帖