这账算得细：拿 Kimi K3，3 万亿参数模型得 59 片晶圆才塞得下。 单片 44GB，93 层拆开：24 层全注意力层各占一片，69 层线性层两两拼一… · @ahsuzm · TwKit

@ahsuzm

这账算得细：拿 Kimi K3，3 万亿参数模型得 59 片晶圆才塞得下。 单片 44GB，93 层拆开：24 层全注意力层各占一片，69 层线性层两两拼一片，权重不动，只传中间结果，每秒 1000 到 2000 个 token。拼的是内存离算力多近。 #Cerebras #晶圆 #AI推理

曝光 128 · 评论 1 · 点赞 1 · 书签 0