有预感。。。Qwen4 Max有可能是第一个达到opus 5.5 和 Gpt 6 Astra 综合水平的国模。。。。 Qwen4 还没发,但架构已经部分开源… · @leo114119 · TwKit
@leo114119
有预感。。。Qwen4 Max有可能是第一个达到opus 5.5 和 Gpt 6 Astra 综合水平的国模。。。。 Qwen4 还没发,但架构已经部分开源了(Qwen3.8-Flash-Next),再参考Qwen3.8-Max的情况,我们可以简单推一下: Qwen4 的规格: 总参 3.6-4.5T(Qwen3.8-Max 是 2.4T,架构换代通常 2~2.5×,官方说 5-10T 是 Qwen4.5/5 的方向 激活参数 100B 左右:因为 Qwen4 用 51B 的 n-gram 嵌入表加参数,但它是查表不是矩阵乘,不吃算力。官方原话:「嵌入是比 MoE 更适合做参数扩容的方向 —— 计算更少,还更容易 offload。」 上下文 2M。 Qwen4 架构的 QSA 就是为长上下文检索设计的,窗口开大不难 更快的Tps: 大规模的 RSI 应用:Qwen3.8-Max 自主迭代了 33 轮,还自己给新 GPU 做推理适配 另外阿里自主平头哥 CPU加上不缺钱不缺算力。。。。 再加上在竞技场偶尔的测试展示的实力 Qwen4有可能会是10 月国模更新最大的惊喜。。。
曝光 2686 · 评论 17 · 点赞 23 · 书签 4
查看原帖