推文
@math_fournity · 2026-10-11 19:21
上下文长度和计算资源之间是平方关系,大概就是256k的传统配置消耗的计算资源是满配100万上下文的1/16。 16倍的资源消耗,所以Workbuddy总是调低用户设置的1M上下文。
曝光 496 · 评论 1 · 点赞 2 · 书签 0 · 曝光/时 45.881496320395506
@math_fournity · 2026-10-11 19:21
上下文长度和计算资源之间是平方关系,大概就是256k的传统配置消耗的计算资源是满配100万上下文的1/16。 16倍的资源消耗,所以Workbuddy总是调低用户设置的1M上下文。
曝光 496 · 评论 1 · 点赞 2 · 书签 0 · 曝光/时 45.881496320395506