AI 创业公司 Recursive 发布首个模型 Flint，一个面向编码 Agent 的 40B MoE 本地编码模型，总参数 39.8B、每 token… · @buoyhuang · TwKit

@buoyhuang

AI 创业公司 Recursive 发布首个模型 Flint，一个面向编码 Agent 的 40B MoE 本地编码模型，总参数 39.8B、每 token 激活约 2.5B，权重以 Apache 2.0 协议开放，可在 Hugging Face 下载，也可在 opencode、pidotdev 上免费试用。Recursive 称，其自动化研究系统 Eureka Machine 参与了从预训练到后训练和推理的几乎全部开发环节，小团队不到四个月从零完成。 vLLM 宣布从发布首日起支持 Flint，NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行；vLLM 称在一张 GB200、上下文达 100K token 时，单请求解码约 500 tokens/s。该加速有适用条件：Flint 内核针对单张 Blackwell GPU（TP=1、BF16 KV cache），其他配置会回退到 vLLM 的标准层；推理内容计入 max_tokens，处理难题时建议至少预留 32K。 性能方面，Testing Catalog 称 Flint 比同类模型快 2 倍，在 64GB RTX Spark 上超过 220 tokens/秒，在 MacBook Pro 上达 125+ tokens/秒；Eureka Machine 通过编写自定义 GPU 代码，在不改权重的情况下将 Flint 在 RTX Spark 上提速 55%。MarkTechPost 称其可在 48GB 内存的 Apple Silicon Mac 或 48GB NVIDIA GPU 上运行。Hugging Face 联创 Thomas Wolf 点评称，Flint 把通常建议保持高精度的 lm_head 量化到 4 bit，结果距 bf16 仅差 0.7 个百分点。

曝光 82 · 评论 2 · 点赞 1 · 书签 0