推文
@tonnyzhou · 2026-10-16 01:08
今晚芯片帖里提到"原生FP4"，顺手科普下。 FP4 就是用 4 位浮点数存模型参数。位数越少，同样显存能塞下更大的模型，推理也越快。 代价是精度会有损失。"原生"支持指芯片硬件直接算 FP4，不用来回转换，速度和功耗都更划算。 一句话：大模型想跑进端侧设备，低精度计算是必经之路。#AI科普
曝光 42 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 1.4991356029920069
@tonnyzhou · 2026-10-16 01:08
今晚芯片帖里提到"原生FP4"，顺手科普下。 FP4 就是用 4 位浮点数存模型参数。位数越少，同样显存能塞下更大的模型，推理也越快。 代价是精度会有损失。"原生"支持指芯片硬件直接算 FP4，不用来回转换，速度和功耗都更划算。 一句话：大模型想跑进端侧设备，低精度计算是必经之路。#AI科普
曝光 42 · 评论 1 · 点赞 1 · 书签 0 · 曝光/时 1.4991356029920069