TwKit
正在载入
TwKit

手里有 RTX 3090 的可以看看:一个开源 Linux 内核模块 gpu-unlock,把 30 系显卡被限速一半的 BF16 张量算力放了出来,同一张… · @willzero · TwKit

@willzero

手里有 RTX 3090 的可以看看:一个开源 Linux 内核模块 gpu-unlock,把 30 系显卡被限速一半的 BF16 张量算力放了出来,同一张卡、同样功耗。 先说清楚被限的是哪一块。30 系游戏卡上,FP16/BF16 输入、FP32 累加的张量运算,出厂就是半速,驱动里自己都写着 FMLA32 = 1/2。专业卡没有这个限制。 gpu-unlock 是 Zagitta 写的,在 NVIDIA 驱动加载之前改掉速度选择寄存器,再把卡复位一次。不刷 BIOS,也不改驱动,驱动升级不用重新打补丁。 仓库里贴的 3090 Ti 数据(450W,8192 的矩阵乘):BF16 从 87.5 到 157.4 TFLOPS,TF32 从 42.6 到 82.6,FP16 从 87.5 到 118.4。 用户报上来的结果,3090 的 BF16 矩阵乘涨 25% 到 67%,3080 涨七成左右,3070 涨七八成,3060 12GB 大约八成。最低的 25% 是功耗锁在 225W 的卡,功耗上限影响很大。也有翻车的:一款 OEM 的 3080 Ti 20GB 跑完解锁,BF16 还是半速。 最早把这事带火的是 Alexey Fateev(@superalesha),他 4 张 3090 的 BF16 张量管线从 82 到 155 TFLOPS,输出和原来逐字节一致。他还说有人做了 4090 的版本,BF16 从 165 到 331,这个目前是他个人的实测,我没看到像主仓库那样的多人测试表。 最实际的问题:跑本地大模型聊天会变快吗?基本不会。 生成 token 的速度卡在显存带宽上,INT8 也不受影响。能变快的是吃矩阵乘的部分:长 prompt 的预填充,仓库汇总的报告是快 14% 到 36%,@superalesha 自己测的是 10% 左右。图像扩散、FlashAttention、在 3090 上训 LoRA,这些才是大头。 也有人调侃:在一千美元的显卡上装一个叫"gpu unlock"的仓库。这个担心不多余,它是内核模块,权限很高。 如果你用 3090 跑 ComfyUI 出图或者训 LoRA,可以先在一台不干活的 Linux 机器上试:装之前跑一遍自己的基准,装完冷启动再跑一遍,对一下输出是不是一致。Windows 目前只有别人做的实验性移植,从 UEFI 阶段解锁,限制比较多,不急的话再等等。 我觉得这件事最有意思的是二手 3090 又值钱了一点。24GB 显存本来就是它一直卖得动的原因,现在矩阵乘也补上了一截,想自己搭本地算力的人可以重新算一下账。 https://github.com/Zagitta/gpu-unlock https://x.com/superalesha/status/2113332444283691105

曝光 151 · 评论 1 · 点赞 0 · 书签 0

查看原帖