太空兔在 OpenRouter 连续 10 天排第一,但有网友靠「笔迹」把它认了出来。 科普:模型先把文字切成 token,切法由分词器决定。每家的词表都是… · @TongZha58836739 · TwKit
@TongZha58836739
太空兔在 OpenRouter 连续 10 天排第一,但有网友靠「笔迹」把它认了出来。 科普:模型先把文字切成 token,切法由分词器决定。每家的词表都是 一步步「合并」出来的,同一句话各家切出来块数不同。 平台会返回 token 数。拿 12 类刁钻文本去测,太空兔和 MiniMax 12/12 全对上。哪怕绝对数对不上也没关系:平台加了隐藏提示,相邻两次求差,增量序列就一模一样。数学上叫消掉常数偏移。
曝光 4 · 评论 0 · 点赞 0 · 书签 0
查看原帖