惊了！从原始字节长出汉字：当AI自己学会“切字”，tokenization的拐杖就被扔掉了！ 真正的智能不是被喂给“字”和“词”，而是从原始字节里自己长出边… · @NFT_Chen · TwKit

@NFT_Chen

惊了！从原始字节长出汉字：当AI自己学会“切字”，tokenization的拐杖就被扔掉了！ 真正的智能不是被喂给“字”和“词”，而是从原始字节里自己长出边界。 中文一个汉字占3字节。早期H-Net会把字拆碎，训练到后面它自己学会了正确聚成一个字，甚至比BPE更懂罕见字。 这才是bitter lesson的落地：少人工先验，多从数据里学习。如果连字节都能自学出“字”，那图像像素、音频波形、DNA序列、世界模型的原始信号，还远吗？ Tokenization是拐杖，H-Net在扔掉拐杖后，用更少的数据和算力跑得更快。 这才是真正从原始数据里长出抽象的路径。 https://x.com/nft_chen/status/2115528970347377085?a=TeuPMqpjjplu1O1_jPE&s=46 https://x.com/_albertgu/status/2116254436150657290/video/1

曝光 1197 · 评论 6 · 点赞 20 · 书签 11