LoRA 与 QLoRA：用一块 GPU 微调大模型 · @dongxi_nlp · TwKit

@dongxi_nlp

2023 年，华盛顿大学的研究团队发表了 QLoRA。他们在一块 48GB 显存的 GPU 上微调了一个 650 亿参数（65B）的模型，并报告这种方法保持了 16 位全参数微调的任务表现。 用这种方法训练的 Guanaco 模型，在一块 GPU

曝光 2309 · 评论 0 · 点赞 8 · 书签 11