## AWS 提出 priming 方法，AWSTransformer混合架构降本99% AWS 团队发布论文《Priming: Hybrid state … · @shuizhuyu · TwKit

@shuizhuyu

## AWS 提出 priming 方法，AWSTransformer混合架构降本99% AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出一种叫 priming 的方法：不用从头训练，直接把已有的预训练 Transformer 改造成混合状态空间架构，预训练成本降低逾 99%。 它解决的是老问题：Transformer 效果好，但推理成本随上下文长度增长；状态空间模型（SSM，用递归方式处理序列的架构）效率高，却很难从零训出同等质量。重训一个混合模型代价太大，priming 的思路是复用现有权重，只做必要的结构改造和少量继续训练。 值得关注的技术点： 1. 权重复用：把预训练 Transformer 的部分层替换或映射为 SSM 层，继承原有语言能力，而非重新学习。 2. 成本极低：全流程消耗不足源模型 0.5% 的 token 预算，预训练成本降幅超过 99%。 3. 混合架构：保留部分注意力层维持表达能力，其余用 SSM 提升长序列效率。 4. 路径可复制：对已有开源模型，这是一条低成本改造为高效架构的路线。 与从头训练混合模型相比，priming 把“架构升级”变成“存量模型再利用”，门槛和算力开销都大幅下降。对开发者意味着可以基于现有模型快速试验混合架构；对行业来说，模型架构演进可能更多转向对存量权重的再加工，而不是反复重训。 #AWS #Transformer #状态空间模型 https://www.amazon.science/blog/can-we-change-an-ai-models-architecture-without-retraining-it-from-scratch

曝光 24 · 评论 0 · 点赞 0 · 书签 0