推文

@NFT_Chen · 2026-10-08 18:07

💥卧槽！2.5GB 就能训出自己的本地决策模型！任意小 LLM 直接改造成 Jev/Laya/Clef 风格的决策引擎，准确率从随机水平 30% 左右直接拉到 77-78% ！ 核心亮点： 🔹Laya 继续微调只要 2.5GB 显存、约 10 分钟，测试准确率 77% 🔹Qwen3.5-0.8B 聚合准确率从 20.7% → 74.3%，4GB 显存即可（typed-decisions 36%→73%，BANKING77 7%→74%，CLINC150 19%→76%） 🔹Clef head + LoRA（QLoRA），一次 epoch 就能把下游准确率从 30-37% 打到最高 78% 🔹支持 Qwen / Gemma / Llama 等任意文本或视觉模型，数据全程本地，可导出 GGUF、通过 Decision API / llama.cpp 直接服务，返回带校准概率的选项 上手只需 4 步： 1️⃣更新 Unsloth Desktop，或 pip install --upgrade unsloth 2️⃣打开 Train 页，选模型（如 unsloth/Qwen3.5-4B 或直接微调 Laya），Train as 设为 Decision model 3️⃣推荐参数：epochs=2、LoRA rank=16、lr=2e-4，加载 typed-decisions 等数据集后开训 4️⃣训完一键丢进 Decision API 测试/部署，或代码里用 FastDecisionModel + DecisionTrainer 复现 GitHub：https://github.com/unslothai/unsloth
文档：https://unsloth.ai/docs/basics/train-your-own-decision-model-with-unsloth 本地决策模型终于不再是大厂专属了。 #Unsloth #DecisionModel #LocalAI #LLM #FineTuning #开源 #QLoRA #本地部署 #决策模型 #Laya #Clef

曝光 1465 · 评论 7 · 点赞 20 · 书签 14 · 曝光/时 143.58430666361303