看到有人把 Qwen3-4B 的 AI 腔微调掉了。做法是让 teacher 模型回答问题，用规则把带 AI 腔的回答筛掉，剩下 161 条拿来做 LoRA… · @ScarletKc · TwKit

@ScarletKc

看到有人把 Qwen3-4B 的 AI 腔微调掉了。做法是让 teacher 模型回答问题，用规则把带 AI 腔的回答筛掉，剩下 161 条拿来做 LoRA，一台 M2 MacBook Air 就能训。结果每千词的 slop 分从 121 降到 12.5，破折号直接归零，不过还是会编人名地名 正好我 8 月也训过一个 ScarletKc-1.0，Qwen3.5-9B 底座做 LoRA，数据是我自己这几年的聊天记录。它说话中文为主而且很短，问它在干嘛就回一句发呆。但问它住哪，三次能给出三个不同的城市 两个模型的情况其实一样，语气很容易训出来，知识还是底座那套。

曝光 395 · 评论 3 · 点赞 8 · 书签 3