浏览器模型提速的代价 | The Cost of Faster Browser LLMs · @AasenVS · TwKit

@AasenVS

设想你打开一篇长网页，让浏览器里的模型先做摘要，再提取要点、回答几个问题。第一条请求可能还在加载权重和编译，后面的请求才逐渐顺畅。于是，“每个token生成更快”和“这次打开页面更快得到答案”不是同一件事，判

曝光 31 · 评论 0 · 点赞 0 · 书签 0