想让 MiniMax M3.1 Flash 跑得更快,Inco AI 开源了一个配套小模型 DFlash 2,免费开源、可商用,输出和原模型一致,不掉质量。… · @Moblacksoil · TwKit
@Moblacksoil
想让 MiniMax M3.1 Flash 跑得更快,Inco AI 开源了一个配套小模型 DFlash 2,免费开源、可商用,输出和原模型一致,不掉质量。 做法是让小模型先一口气猜出一段后续内容,再交给大模型核对,省掉一个字一个字往外蹦的时间。官方说最高快 3.5 倍;模型页给的条件是两张 GB300、一次只跑一个请求,实测快 3.53 倍;同时跑 8 到 32 个请求时,提速回落到约 1.6–2.6 倍。
曝光 9 · 评论 0 · 点赞 2 · 书签 0
查看原帖