不再沉默 近期AI行情调整导火索是通胀+利率,恐慌沿产业链传导:CoreWeave约500亿美元债务、发债成本上行引发市场担忧二线算力租赁企业融资能力,恐慌… · @2030FY_X · TwKit
@2030FY_X
不再沉默 近期AI行情调整导火索是通胀+利率,恐慌沿产业链传导:CoreWeave约500亿美元债务、发债成本上行引发市场担忧二线算力租赁企业融资能力,恐慌传导至硬件上游。 Anthropic估值下调不是核心矛盾:计划11月IPO的Anthropic三季度年化收入160亿美元环比增45%,但增速较上季度翻倍明显放缓,部分投资者将IPO估值由2万亿美元下调至1.5万亿,市场对大模型商业化预期更谨慎。 另外有传言称,在美国对大模型蒸馏技术的审查日益收紧之下,国内 AI 厂商集体陷入了沉默。而 DeepSeek 最新发布的 DeepSeek-V4.1-Flash-1017 打破了这种沉默,市场解读已经比较很多。据我们调研,预计未来几周还会有更多国内模型陆续发布。 今天重点聊聊智谱,市场对其模型一直有很高的期待,而新模型迟迟不发更加深了市场对反蒸馏影响的担忧,今天的专家会议纪要终于都说到点上了: 【1、模型参数】 近期市场传闻智谱将于10月底发布1.6T参数的新一代模型GLM-5.5,该传闻并不属实。新一代基座模型的实际参数规模在2.5万亿至3.5万亿区间,模型架构较为激进,既要训得快,也要推得快,同时压低推理端成本,目标是在模型发布第一天即可提供大规模服务。已有多家云厂商开始就分成模式进行洽谈。为支撑这一激进方案,智谱也补强了infra团队。 【2、推迟的原因】 基座训练前段时间并不顺利,训练过程中出现了loss不降的情况。激进的架构改进必然伴随较高风险。但是最近该问题应该已经解决了,预计很快能够完成训练。从目前情况判断,下一代模型发布后将达到Fable级别的旗舰水平。 【3、RSI和Loop】 RSI已取得一些进展,但尚未成为模型能力提升的主力。Loop相关技术应已较早解决,估计会在某个版本中直接进入服务,公司在公开场合对此也有所提及。 【4、核心难点】 据了解,国内各家模型厂商都在考虑5万亿参数规模的训练,训练难度显著加大。国内目前可能还没有一家能够完整、稳定地训练完成2万亿参数的模型。需要说明的是,“成功完成训练”和“训完一个模型”是两码事。 没有成功完成训练也就是常说的训崩了,超大参数模型训练中的“训崩”主要有两类: - loss spike:成因包括Attention logit growth、Output logit divergence、Stale optimizer state、Bad batch × bad state、Residual/norm growth以及Numerical overflow等。 - loss不降:这类更棘手,表现为走平甚至逐渐升高。架构改动过于激进、模型参数过大、不同卡的数值精度差异都可能是原因。 模型越大,踩中这类不稳定的概率越高。最简单的例子是每层梯度求和,规模越大,溢出的可能性也就越大。 此外还有最后一种崩,要到后训练阶段才能体现出来,即后训练怎么都上不去。这种情况代价最大,只能下架重训。 从行业案例看,市场传闻Kimi K3的预训练数据并未全部过完,原因应是出现了loss不降,只能硬上后训练。但即便如此效果依然不错,也让行业看到了scaling的威力。另有传闻称DeepSeek V4属于后训练阶段才暴露问题的情况。智谱之前被称为“后训练仙人”,如果确实已经搞定了3T级别的预训练,后训练环节应当比较有把握。 【5、反蒸馏的影响】 近期Anthropic和OpenAI已经采取了反蒸馏措施,例如通过API报错和上下文篡改机制来限制蒸馏。这些举措将对依赖该路径的模型迭代产生较大影响,因此业内普遍判断,国内模型性能的大幅提升可能会受到限制。 但是对智谱来说,之前也有人一直在说,智谱已经在局部解决了数据问题,并坚定走Claude体感路线,即通过持续的后训练来刷新和提升模型能力,包括在后训练阶段对任务环境的大量投入。例如GLM-5系列的一个基座模型可以使用半年以上,通过后训练工程化持续刷新能力。 【6、推理优化】 此前大参数模型普遍面临"发得出、供不上"的问题,发布初期往往需要限流。新一代模型在设计阶段就把推理效率和推理成本作为硬约束,目标是发布首日即可大规模服务,这将直接改善旗舰模型的商业化节奏。 PS:高盛最近还将智谱(http://Z.AI)评级从中性上调至买入,上调理由是商业化变现路径更加清晰:我们将 2026 年底 ARR 预测从 27 亿美元上调至 32 亿美元,驱动力是强劲的 token 需求,以及与中国及全球超大规模云厂商签订的新商务条款(2026 年 10 月起生效),这将创造一条高利润率的增量收入线。我们认为,智谱的数据飞轮和大幅扩张的算力储备,将推动 GLM 模型性能向下一代前沿水平提升,支撑其即将推出的 GLM-5.5 和 GLM-6 模型的规模化扩展。
曝光 31 · 评论 0 · 点赞 0 · 书签 0
查看原帖