10500 张卡练 4 周,学的是少说话。 Reflection 刚开源了 Beam 的权重(Apache 2.0):501B 参数 MoE,每次只激活 2… · @tonnyzhou · TwKit
@tonnyzhou
10500 张卡练 4 周,学的是少说话。 Reflection 刚开源了 Beam 的权重(Apache 2.0):501B 参数 MoE,每次只激活 23B,1M 上下文,纯文本模型。 训练思路挺反常识:直接对多余的 token 罚款。同样一个任务,token 用得越少越好——省下来的都是真金白银。 官方自己都承认:拼峰值能力,Terminal-Bench 上干不过国产那几家。但它赌的是企业更在乎每次任务的成本,而不是榜单第一。 我的看法:企业买单的逻辑从来都是"够用+便宜"压过"最强+烧钱",Beam 就是照着这个账本练出来的。#AI快讯
曝光 37 · 评论 3 · 点赞 1 · 书签 0
查看原帖