🤯我靠！真正的智能，不该被人类先喂东西训练！ 现在的 AI 看文字，不是直接看原始数据，而是先被 Tokenizer 切成词碎片，再丢给模型学习。这个分词器… · @NFT_Chen · TwKit

@NFT_Chen

🤯我靠！真正的智能，不该被人类先喂东西训练！ 现在的 AI 看文字，不是直接看原始数据，而是先被 Tokenizer 切成词碎片，再丢给模型学习。这个分词器是人写的，带着一堆历史包袱和怪异行为，模型根本不是真正端到端在学习。 Karpathy 说过，Transformer 最丑陋的部分就是 Tokenizer。 如果连“直接从字节里自己发现什么是有意义的单位”都做不好，那谈什么理解图像、声音、真实世界？谈什么通用智能？ Albert Gu 的 H-Nets 正在朝这个方向走：让模型自己学会动态分块，而不是靠人类预先切好。用更少数据和算力，就能追上在海量 tokens 上训练的模型。 智能的未来，不是更复杂的工程设计，而是更彻底地相信简单。 少一点人类的聪明，多一点让简单机制自己涌现。 #AI #BitterLesson #智能 #LLM #HNets #Tokenizer #端到端 #通用人工智能 #Karpathy https://x.com/_albertgu/status/2115502110578290900?s=46 https://x.com/_albertgu/status/2115502110578290900/video/1

曝光 1477 · 评论 5 · 点赞 22 · 书签 20