推文

@LanzhiAI · 2026-10-13 22:17

你给 LLM 塞好了选项，它还要从头一个字一个字打出来？ 还得按 token 收费。 今天 ScaleDown 上了个叫 CDM 的东西——Constrained Decoding Models。 说法是：读一遍输入，直接从固定答案里挑，不走生成循环。 分类、抽取、摘要这类活，号称比前沿大模型快 200 倍、便宜 467 倍。 1M token 窗口，OpenRouter 能试。 Agent 流水线里那些重复到吐的 Ctrl+F 级调用，终于不用喂 Opus 了？ 有人实测了再说。 #AI #ScaleDown #CDM #Agent

曝光 270 · 评论 4 · 点赞 3 · 书签 0 · 曝光/时 208.6840065918595