推文

@GYLQ520 · 2026-10-15 03:30

6.3万星。MiniMind干的事很具体：从零训一个25.8M的小模型，仓库自己写，大约是GPT-3的1/7000。 分词器脚本在仓库里，词表已经自带。预训练、SFT、LoRA、DPO都有代码，PyTorch写的，MoE也能配。 能看图的是另一条线MiniMind-V，最小号大约65M，体积口径是1/2600，别和语言模型那条混在一起。 直达https://github.com/jingyaogong/minimind

曝光 17 · 评论 0 · 点赞 0 · 书签 0