韩国游戏巨头 KRAFTON 发布 Raon-1 mini 预览版。 这是一款从零训练的 MoE 语言模型，总参数量约 288 亿，每处理一个 Token … · @0xLogicrw · TwKit

@0xLogicrw

韩国游戏巨头 KRAFTON 发布 Raon-1 mini 预览版。 这是一款从零训练的 MoE 语言模型，总参数量约 288 亿，每处理一个 Token 只激活约 43 亿参数，重点优化韩语对话、编程和 Agent 能力，支持 26 万 Token 上下文。 虽然是从零训练，但底层技术也有中国厂商的影子。它采用混合注意力架构，25 层网络中有 18 层使用改进自 Kimi Delta Attention 的线性注意力机制。另外，团队还简化了 DeepSeek 的 mHC 超连接技术，降低训练计算开销。 KRAFTON 公布的测试显示，Raon-1 mini 在 SWE-Verified 代码修复测试中取得 70.8%，超过 Qwen3.6-35B-A3B 的 63.2%，接近 Meta Muse Glimmer 的 72.0%。但在 Terminal-Bench Lite 终端操作测试中，它只有 47.0%，明显落后于 Qwen3.6 的 63.3% 和 Muse Glimmer 的 70.7%。指令遵循测试 IFBench 则达到 84.2%，高于上述两款模型。 模型权重已经按 Apache 2.0 协议开放，提供 GGUF、MLX 等版本，支持 Mac 本地运行。量化版还能在单张 RTX 5090 显卡上运行。团队同时发布 DFlash2 推测解码模型，在单张 NVIDIA B300 的测试中，输出吞吐量最高达到普通解码的 2.18 倍。

曝光 69 · 评论 0 · 点赞 0 · 书签 0