AI半导体终局推演(IV) 开源模型的兴起对半导体有什么样的影响？会不会降低半导体的营收? 这可能是最近半年市场争辩非常激烈的问题 开源模型token占比可… · @fi56622380 · TwKit

@fi56622380

AI半导体终局推演(IV) 开源模型的兴起对半导体有什么样的影响？会不会降低半导体的营收? 这可能是最近半年市场争辩非常激烈的问题 开源模型token占比可能已经超过两成而且在加速，价格只有闭源旗舰几分之一。每一轮新开源模型发布，市场都要重新算一遍：token越来越便宜，模型公司还赚得到钱吗？ 模型公司不赚钱，谁来买那么多卡？ 这个问题如果从静态角度看待，确实是矛盾的： 一方面，更便宜的模型会让更多人使用AI，所以需要更多算力 另一方面，开源会把OpenAI和Anthropic的价格打下来，模型公司赚不到钱，谁来为后面几年的巨额CapEx买单？ -------------------------- 一、开源会伤害半导体吗？ 把市场的担心拆开，其实是两种说法。 第一种：开源会把premium token的价格也拉下来。闭源两家（OpenAI和Anthropic）的ARR受损，靠融资、靠借钱“透支未来”去买算力的能力，也会跟着下降。 第二种：开源靠价格战抢市场，抢走太多份额，但自己的营收和毛利太低，整个模型层对半导体的支付能力被拉低，开源厂商自己的融资和发展速度也会受影响。 开源token也是token，消耗的同样是真实的算力，相似尺寸的模型，开源的算力消耗还要少一些，比如DeepSeek有sparse attention这类优化。但对半导体来说，真正重要的不是开源还是闭源，而是用卡的人赚不赚钱。毛利率是影响大家抢购芯片热情最重要的因素，几乎没有之一 毛利够高，抢到就是赚到，买得越多赚得越多 毛利超过70%，买的GPU一年回本，每一个GPU都是印钞机。毛利如果只有50%，也可以承担更多融资的风险，去贷款买得更多 所以问题就变成了：开源会不会把毛利率打下来？ 如果只看静态的token价格，答案似乎是会：价格一直在跌。但我们不能以静态的眼光看问题，看token经济学，需要一个动态的framing -------------------------- 二、token经济学的动态平衡：成本降得和价格同样快 token一直在降价，这是事实。但成本降得同样快，这也是事实。 毛利在维持，成本在下降，售价在下降，用量在上升 这是全文最核心的判断：每一代模型、每一代硬件迭代之后，都会回到一个新的平衡。我们可以叫做token经济学的动态平衡。 我们不能以静态的眼光看问题，token的指数型通缩，是AI时代的动态背景板 还是那句话，AI时代的token优化进步十年加速六个数量级，软件/算法加速三个数量级，硬件加速三个数量级 老黄在2023年就讲过，硬件和软件，每十年加速一百万倍，靠的是互联、内存、封装、PCB、架构、制造的全方位进步，合起来一百万倍 相当于软件，硬件各自每十年加速1000倍 这条定律在过去十年得到了应验：硬件过去十年进步的1000倍，细细分解一下，半导体工艺大概有3倍提升，类似DP4/HMMA/IMMA这样的复杂指令加速了大概10倍，从数据精度类型方面的优化是8~16倍（FP32 -> BF4, MX4），以及sparsity方面的优化都有帮助 到现在看硬件提升速度仍然在维持：HBM的带宽和size升级换代在加速，Advanced Packaging各种3D架构花样翻新，光互联的带宽指数提升，延迟和功耗下降，功耗标准以及散热技术的快速提升，都在配合维持这个历史的背景板 落到具体： 1. 硬件每一代都让token throughput翻倍，Blackwell对H100甚至是4倍，也就是让token的单价降一半，Vera Rubin最近也开始了测试，从GTC到hotchip上的展示来看，token throughput基本上也是能翻倍的 2. 软件对同一代模型，每年甚至每半年，再让价格降一半甚至3/4，KV cache压缩、模型层的各种优化都在持续进步。 token本身也在变得更值钱，5.5这一代的token efficiency大幅提高，同样的任务消耗的token更少，而单个token的质量还在变好 只要有竞争，大家都会拼命在相同效果下降低成本，所以边际毛利主要靠软硬件的持续优化来维持 即便是开源模型，毛利也能保持在非常可观的程度 -------------------------- 单GW unit economy的硬件账本 把这件事落到一个GW上算，会更直观。市场可能低估了目前token 的整体毛利。 最新B300跑前沿旗舰模型，推理效率非常高，1GW一年能卖出80B以上的token revenue。到了Vera Rubin，单位电力的token throughput至少还能再提升50%到100%，每GW能卖到120B甚至更高。每GW的毛利率还会继续上升。 当然，明年实际未必真卖到这么高，两家之间仍有竞争，旗舰token可能还是维持在80B一个GW左右。即便如此，旗舰token推理的毛利率维持在75%甚至80%以上。Anthropic今年推理收入预期可以达到50B/GW，明年甚至blended都可能提高到80B/GW。在这样的毛利下，抢算力是没有什么顾忌的 开源的token 毛利没有那么高，按官方售价来算。大概只有60%到70%，每GW的年化收入仍然能在50B以上 最近开源模型因为Sol 6.1以及 Opus 5.5的斩杀线太过于强势，降价很明显，有巨大的毛利压力。但我认为开源模型毛利承压的窘境是暂时的，比如DeepSeek最近优化了Flash 4.1之后，毛利重新站上了70% 再看成本端，现在的硬件成本摊到6年，每年才8B/GW左右。收入是硬件摊销的十倍，这就是为什么neocloud的短约最近能租到每年40~50B/GW的天价，因为token真的能卖到更高价格 硬件就算再提价，也不容易打破这个平衡，token收入和硬件成本之间这块巨大的空间，就是下一篇AI infra/半导体内战要分的蛋糕 这个动态平衡从2023年就一直存在 GPT-4的价格每年降10倍，两年降了100倍，新一代旗舰凭卓越的性能维持定价权，token ~50/M，旧一代开始大降价 如果说token通缩，通缩一直都在，但这个游戏反而更健康了：单位token带来的生产力和价值一直在提高，ROI一直在变好，帮助了渗透率和用量 移动互联网时代的手机芯片，也是这样走过来的 所以要把token降价当作常态，当作一块移动的背景板，即便token降价、减半，通过降本仍然能很大程度的维持平衡。而降价又带来了更多用量，增加整体营收 对AI infra来说，这个平衡最大的好处是维持住了毛利率，而毛利率是维持大家对硬件热情最重要的因素 -------------------------- 三、value tier token是commodity，但premium tier token不是，这是两个完全不同的赛道 动态平衡回答了“降价会不会打穿毛利”。但开源会不会影响闭源最赚钱的那部分旗舰token收入？ 我认为不会，因为value tier和premium tier，是两条完全不同的赛道。 value tier就是commodity，大家拼命地卷。只要有一家设定了新的“斩杀线”，其他家都得跟进。官方售价表面上可能没变，但OpenRouter上各家host的价格是实时反映的。任何value tier的东西，商品也好，甚至是人，都很容易成为commodity。 premium tier是另一回事。它的竞争只存在于OpenAI和Anthropic两家之间，所以commodity属性有限。开源影响不到premium tier token售价，这部分价格是相对稳定的 这个格局，在移动互联网的历史上出现过一次 高通做出了世界上最好的手机芯片之一。但技术扩散是拦不住的，联发科以及整个东亚（包括中国）的产业链，很快就做出了类似的芯片，售价只有高通的四分之一，甚至更低。（跟现在的蒸馏是很相像的：大概能解释30~50%为什么开源模型拉不开差距的原因） 高通的防守是，premium芯片继续卖高价，作为安卓旗舰。同时把premium芯片阉割一部分：屏蔽掉几个核、降频、降档。用极低的成本打造中端和value tier的芯片，卖得比联发科还便宜。很多代里，高通的value tier比联发科的旗舰性能更好、价格更低。 把这个故事换成今天的AI时代背景，几乎可以一一对应。开源用低得多的成本蒸馏，造出了一档和旗舰有可见差距的value tier，想从低价围剿。而OpenAI和Anthropic做的事情，和当年的高通一模一样：用自家premium模型自蒸馏，打造出价格更低、性能更好的“斩杀线”，把战场隔离在value tier，不让它蔓延到premium tier 所以premium tier的战争只在两家之间，Astra依然能卖到每百万token 50美元的高价。闭源的value tier还有第二重作用：不让开源占据更大的市场，也不让开源积累太多利润，利润越少，开源算力上追赶起来就越吃力。 最近GPT-6.1 Sol、Sonnet 5.5这一轮“斩杀线”，对开源的压力是巨大的。但这只是回合制游戏的一部分：开源也在进步，下一代仍在训练。token的指数型通缩作为背景板一直在发生，开源的到来，只是让今年value tier的降价斜率更陡了一些。另外虽然开源最近蒸馏变得更困难了，但我仍然认为开源有能力把差距维持在半年左右。 premium tier token最近也有价格战。两家都要上市，可能暂时让出一部分premium token的毛利，让ARR更好看，拿到下一笔融资，或者顺利上市。但以后可能不会有恶性价格战，这是双寡头竞争 为什么premium不会被commodity化？ 供给侧的原因是：大模型时代虽然没有网络效应，但RSI效应很强：用前一代模型的数据去生成更强的下一代，这个能力越来越强。领先者的优势，会自我强化。 需求侧的原因放在后面讲：对旗舰的需求不会停。 所以，“开源威胁闭源收入”这句话只对了一半。它威胁的是闭源的value tier，而闭源的防守非常有效。两个市场之间是割裂的，不能一概而论 -------------------------- 四、开源到底对半导体整体有多大分量 说完了动态平衡（开源模型毛利也是能维持的），还剩一个最朴素的问题：开源到底有多大？ 开源的token占比可能已经到了20%甚至更高，但如果看ARR，也就是真实的market spend，它只占5%~10%。而ARR直接挂钩毛利率，以及能撑起多少GW的算力，这就是对半导体分量的估算。 换句话说，从算力的角度看，开源token ARR占相关ai infra/semi收入的比例只有5~10%；如果把Meta、Google这类自用的算进来，比例还要更小。上一篇讲过：北美的开源模型收入到现在还不到10B，闭源加起来已经超过120B，现在可能在140B附近。可预见的未来，开源的ARR增速会比闭源快，但不会大幅超出。 现在可以回到开头的两种担忧了。 第一种，开源把premium token的价格拉下来，不完全成立。两条赛道是割裂的，开源打不到premium的价格，ARR的大头在premium/high tier这里，当然了，Opus/Sol这样的high tier可能会在开源模型每次迭代发布的初期受一定影响 第二种，开源自己的毛利太低，拖累整个模型层的买卡能力：目前不成立。开源跑在B300上的毛利仍在60%到70%以上，份额也小。开源自己的营收约束也还没有触发：营收不好，就没法长期训练，迭代循环就难以维持；但现在开源的增长势头强劲，这个循环在正常地转。 所以结论是：开源不会降低毛利率。只有毛利率有保证，购买意愿才有保证。即便是毛利率受影响，只要开源能维持30%以上、闭源60%以上的毛利，这个游戏就完全能玩得下去，半导体和infra的需求就不会因为开源变强而变弱 在对毛利率影响有限的前提下，对Nvidia来说，开源带来了客户的多样性，致力于把供应链隔壁层的客户商品化，会给Nvidia/infra带来更大的议价权，反而是有利于AI infra/semi的 以后开源收入占绝大多数市占率的说法，我认为不太可能，原因在上一篇提到过, 主要是开源模型的算力增长速度有限，以及闭源模型的value tier token 竞争力完全不差。 -------------------------- 五、平衡的前提：用量必须跑赢降价 到这里，动态平衡看起来很稳。但它其实建立在一个重要前提之上。 现在token的毛利率高，很大程度建立在算力短缺的基础上。那么，算力会一直短缺吗？ 毛利率能不能维持，最终要看token需求能涨到什么量级，也就是整个ARR能不能维持增速 杰文斯悖论OpenRouter上已经无数次上演过：价格下降，需求涨得更多，整体营收反而上涨。虽然，从最近的数据看，价格降得太快，需求增速短期跟不上，整体营收的增速可能会放缓 有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1~1.1，也就是便宜10%，用量多10%左右，总花费基本不变 所以绕了一圈，开源对半导体的影响，最终要回到：token需求能不能一直跑赢降价？ -------------------------- 六、token需求还会大幅增长，而且对旗舰的需求不会被value tier轻易取代 理由有几个： 1. Token整体用量高度集中在头部用户，他们能吃下每一分能力提升 2. “能力超过大多数人的需要之后，再提升就对没用”，是错觉 3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果明显更好 4. 能力的本质是抽象层上移，能指挥的任务越来越复杂 5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场 -------------------------- 1. 模型能力提升主要服务头部用户，模型能力提升能持续转变成用量的释放 top 10%的用户占了大部分用量，top 1%的平均用量大约是top 10%档用户的10倍、中位数用户的100倍，最能把模型能力发挥出来的，往往就是这top 1% 模型能力的提升，主要提升的是前10% power user组织long-horizon task的能力，这部分人的用量会被能力上限卡住，他们的用量会随着能力的上升而继续释放 medium人群对AI能力的需求没那么大，他们的cap限制主要是tool integration，日常的workflow没有被很好地连接起来 所以token增长其实对应两类人可能是不同的方向：头部靠能力，也就是long-horizon task；腰部靠集成，也就是连接器、workflow、personal agent 对腰部人群来说，产品的表现形式更为重要，应用层更有效用的可能是腰部人群 2. “能力超过大多数人的需要之后，再提升就对营收没用”，可能是错觉 第一，即便是普通用户，即便智能溢出，也希望用更聪明的模型，就和智能手机算力溢出一样。 第二，在人占主要成本的任务里，用旗舰可能反而更省钱。模型的花销远不如人工工资的时候，当人力占到总成本的90%，模型越强，人需要的review和返工就越少，节约的人类时间就越多，总的opex反而更低。 还有一条轴，是任务本身的开放性 3. 开放型任务遍布每个领域，在这些任务上旗舰模型的效果好得多 bounded任务有天花板，比如报税，复杂度有上限，模型一旦越过这条线，再多的智能也不再带来价值。 unbounded任务没有天花板，比如AI研究，永远可以做的更多 第一，即便是报税这种复杂度有上限的任务，可靠度也是一个因素，智能越高，可靠度越高，bounded任务的天花板是复杂度，不是可靠度 出错的代价越高，可靠度的每一点提升就越值钱 可靠度是按步数连乘的，单步做到99%，20布可靠度就升到82%左右，单步可靠度的小幅提升，会放大成任务层面的大幅提升，也意味着更少的人工review和返工 人工review和返工占大头的时候，总成本最低的可能是更强的模型 第二，unbounded是任务的属性，不是领域的属性，只要任务的开放性足够强，就是unbounded task 对抗类task天然就是unbounded，开放型任务每个领域都有，不是只有AI研发、软件工程、交易这几类领域 bounded任务的总量增长没那么大，unbounded任务是开启一块新任务之后，还能一直开辟更多的新任务，是纯增量 更强的模型在这里效果好得多，ROI更高，这也是Astra出来之后营收增速奇快的原因 第三，能力还决定了单个任务能持续多久：半年多前，一个任务迭代两三次就没法继续了，现在已经可以迭代十几次仍然继续，能力变强，迭代步数变多，抽象层就一直在往上升 第四，以后agent-to-agent的碰撞会越来越多，旗舰模型会一直处于优势，在对抗场景里，价值取决于相对能力而不是绝对能力，所以模型不存在“够用” 4. 能力的本质是抽象层上移，能指挥的任务越来越复杂 模型能力的增强，说到底是抽象能力的增强，能指挥的任务复杂度变高，对旗舰模型的要求和token消耗也就随之变大 模型对复杂度的控制能力其实是有限的，必须从抽象层、方法论的角度去隔离复杂度，本质上是用有限的复杂度控制能力，换取更大的复杂任务完成能力 技术进化的本质是抽象层上移，人类放弃低维的手工算术，是为了跃升到高维的抽象调度 Agent抽象层继续上移之后，TAM的分母也在变 上一篇算的是人均，长期看每人每月的AI支出可能到白领工资的10%，大概1000美元，这是增效的逻辑，分母是opex Agent抽象层继续上移之后，以后的分母可能不是“每个人的人均agent”，而是“每个组织的agent数量”，agent和人头/工资上脱钩，数量甚至可能远超碳基人口，这和unbounded任务其实是同一件事 5. 信息、认知、意图三种门槛降低的组合，会不断打开比上一阶段大一个数量级的新市场 把token的演进拉长来看，目前可以分成三个阶段。 第一个阶段是chatbot，让信息流动的门槛大幅下降 第二个阶段是reasoning，让认知流动门槛大幅下降 第三个阶段是agent，让意图流动的门槛大幅降低 每一个阶段打开的应用场景，都比上一个阶段大一个数量级，而且它们之间的组合会越来越多：意图门槛和认知门槛降低的组合，会带来更大的增长空间。 历史上，每一次信息门槛的大幅降低，都带来了一轮科技革命。意图门槛的降低也带来过革命，这一次，是人类第一次在认知和智力的意图上实现门槛的大幅降低，同时信息门槛还在继续大幅改进。它一定会是一场增长非常迅猛的科技革命。 互联网时代的生意，底层逻辑可以归纳为一种组合：信息流动门槛的降低，乘以任意一个行业。社交网络是信息流动门槛的降低乘以人际关系，电商是信息流动门槛的降低乘以交易。AI时代的组合，是信息、认知、意图三种流动门槛的降低，再乘以任意一个行业。 这个组合的发展方向，可能是第四个阶段：代理经济（Proxy Economy）。无论是碳基消费还是硅基消费，无论C端还是B端，它的潜力都非常大 模型能力越强，proxy能越过的门槛就越多，能干的事情复杂度就越高。代理经济现在还没有迈过一个很大的门槛，以后会和社交、电商等每一个领域深度结合，走向agent to agent。这可能还需要一到两个阶跃。它不是一个短期的事情，可能是在更长的时间尺度上，保障token很长一段时间的指数增长。 ----------------- 还有token之外的需求 最后，算力上还有一块容易被忽略的需求：训练。 推理越赚钱，能撑起的训练比例就越高。以Anthropic为例，2027年大约有10GW的算力，按年底300B的ARR来算，只需要4GW左右的推理算力就足够，剩下的6GW可以更多地投进训练；今年上半年最缺算力的时候，推理可能占到三分之二，明年可能只占40%。RSI的涌现，让训练的回报越来越能justify。 还有一类训练，根本不靠token收入来算账。Meta没有直接的token收入，但可以从muse衍生品上间接赚回来。Google的模型和自身生态结合，能产生token之外的大量收入。即便只做到第二梯队，也不可能割舍训练，而且要追上最新进度，训练算力的差距不能被拉得太大。 所以AI infra的需求，不只是token的需求，明年开始也是训练的需求。 七．一个推演，Token spending的增长可能是阶跃式的，指望它匀速增长是不切实际的，增速放缓期可能是正常现象 “coding之后没有接力所以AI增速以后完蛋”，是线性思维 AI的发展，特别是token需求，可能是阶跃式增长的，商业上，技术上的新范式/量变引起质变，都是阶跃式增长的契机。“coding之后没有接力”，是拿线性思维去外推一个阶跃的过程 原因在于，能力是连续进步的，token spending回报的兑现却是阶跃式的。 1. 回报决定花费。AI是一个每时每刻都要证明回报率的游戏。决定spending能不能继续翻倍的是边际回报。现有token用量有回报，不等于再翻一倍也有同样的回报。 有研究用OpenRouter和Azure的数据估算过，token的短期价格弹性大约是1，也就是便宜10%，用量多10%左右，总花费基本不变 2. 而Token spending的回报是阶跃门槛函数，过了一个门槛会出现阶跃。辅助驾驶L2做得再好，就算做到L2.99，它还是L2，驾驶位解放不了，经济上就很难产生收入阶跃，必须要成为L4自动驾驶，整个的产值和空间才会阶跃性打开。 同样，自动化节约的前30%到50%，作用很小，提升效率过了门槛才会长出新的范式。比如说对员工效率提升30%以内，通常不能降低项目成本。某类工作的投入减少约 30% 或以上，才方便把释放的人力重新投入其他项目。 Coding是第一个越过了L4全自动接管的赛道，所以我们看到了26年上半年token ARR营收的阶跃爆发式增长 回到token需求的问题，总的token spending能不能快速增长，还是取决于回报，而回报增长率大部分时候可能会没那么exciting，需要等阶跃。 另外一个猜想是, Top 1%的用户token 花销增长速度和medium 用户 token花销 的增长速度基本是一致的。长期看，可能会出现一次翻转：中位数token用量的增速重新超过头部Top 10%用户的增速 逻辑是，头部在token里的份额很大，在GDP里的份额并不大。前1%的用户，token用量是中位数的100倍，但他们产生的收入和GDP，远远不是中位数的100倍；前10%和中位数的差距，也远远到不了10倍。 头部的spending，上限是头部的营收；头部spending的增速，迟早要收敛到头部营收的增速。而中位数用户对token spending 空间还很大，完全可以超过营收速度。 -------------------- 把这一篇的token经济半导体账摊开，其实很直白。旗舰token 一年能卖80B/GW，硬件成本摊到六年只有 每年8B/GW。中间差十倍。 开源也好，斩杀线也好，Token降价，只要成本跟着降，那么1GW的硬件能卖出去的token营收是不变的，毛利率也是能维持的 不过这个毛利率不是守出来的，是整条产业链拼命降本追出来的 至于Token的需求和花销，往后几年，一定还会常出现几个季度的放缓，也一定总会有人把放缓当成故事的结束。 我们习惯用均速前进去想象未来，而现实更可能是台阶式的阶跃性进步 每一级台阶上，都会有人宣布触顶了。 而台阶之所以是台阶，就是因为它上面还有下一级 -------------------- 这一篇已经太长了，至于AI infra/semi内战的蛋糕怎么分，延续到下一篇详述。

曝光 8999 · 评论 12 · 点赞 85 · 书签 69