Transformers 10月29日的新版支持在 FP8 权重上训练 LoRA。官方用 H200 测试，MoE 层反向计算的临时显存峰值从约29GiB降到… · @DeaglePc · TwKit

@DeaglePc

Transformers 10月29日的新版支持在 FP8 权重上训练 LoRA。官方用 H200 测试，MoE 层反向计算的临时显存峰值从约29GiB降到约3GiB。 注意：这是特定单层测试，不是整轮训练只占3GiB；模型权重和激活仍要占显存。 https://github.com/huggingface/transformers

曝光 12 · 评论 0 · 点赞 1 · 书签 0