百度开放2800亿参数的ERNIE-5.5-Flash-Base，真正值得关注的不是又多一个聊天模型，而是开发者拿到了可自行训练的基座，后续能力怎么长，不必… · @bitbiz_bruce · TwKit

@bitbiz_bruce

百度开放2800亿参数的ERNIE-5.5-Flash-Base，真正值得关注的不是又多一个聊天模型，而是开发者拿到了可自行训练的基座，后续能力怎么长，不必全等厂商决定。 据百度11月5日官方说明，这次开放的是预训练终点权重：总参数280B，每Token激活14B，使用33.5Ttokens从零预训练，提供FP8和BF16版本。它还没经过中训练和后训练，不能当作已经调好的聊天助手。 对做领域适配、指令微调和强化学习的团队，这意味着不用从零重做大规模预训练，但数据、训练目标与验证仍要自己解决。开放的是选择权，不是交付效果的保证书。 上下文数字也要拆开看：最长训练上下文是128K，微调与推理支持1Mtokens。不能把后者写成“从头就在百万长度上训练”，更不能据此承诺百万Token里所有任务都可靠。 效率设计比单看参数量更有意思。官方介绍，43层里有37层在128倍压缩后的序列上做注意力，另6层采用MLA-DSA保留细粒度访问。思路是让大多数层负责压缩视野，把有限缓存预算留给少数关键层；每Token只激活部分参数，也不等于整套模型的存储需求只剩14B。 数据也不只堆代码文本：官方披露加入代码评审、自动生成测试和经CI验证的修复，训练材料开始覆盖代码怎样被修改、验证，而不只是最后长什么样。 官方用统一框架做了七类能力、30项基准，与其他公开Base检查点比较。这是厂商评测，不是独立实测，不能拿Base成绩宣称聊天或Agent产品全面领先。 模型使用专门的许可协议，“权重开放”不等于没有使用条件，后训练版仍是后续计划。这次发布的价值，要看能否用自己的任务训出增益，别把可继续训练的起点，当作开箱即用的终点。 https://alishui.com/news/360/bai-du-kai-fang-ernie-5-5-flash-base-quan-zhong-zong-can-shu-280b-mei-token-ji-huo-14b.html

曝光 16 · 评论 1 · 点赞 0 · 书签 0