这两天刷到一条挺有意思的帖子，本来想直接转，越查越觉得得把背景一起带上，不然很容易看偏。 源头是 X 上 Jacob Lauritzen 11 月 3 日发… · @mathfournity · TwKit

@mathfournity

这两天刷到一条挺有意思的帖子，本来想直接转，越查越觉得得把背景一起带上，不然很容易看偏。 源头是 X 上 Jacob Lauritzen 11 月 3 日发的一条，他是法律 AI 公司 Legora 的 CTO。原帖就两句话： 让 Claude 直接「手写」了一个约 10 万参数的小网络，用来判断一条法律引用是真是假；没跑训练，一次写出来，效果还比训练出来的好。（原帖写的 fable，一般指 Anthropic 的 Claude Fable 5；后面那个开源复现项目里明确写的是 Claude (Anthropic)。） Reddit 那条把它浓缩成「97.8% 打赢 94.6%」，一千多赞，标签挂着「奇点已至」。但把原帖那张表格摊开，其实是五行： 手写 / 0 条标注 / 3793 个非零权重 → 97.8% 手写，改过一版 / 5062 条 / 3828 个 → 98.9% 训练 / 512 条 / 107745 个 → 76.5% 训练 / 5062 条 → 92.9% 训练 / 8192 条 → 94.6% 看出来了吧：所谓「超越训练」，是拿「一条标注都没看过的手写网络」去比「喂了 8192 条的训练网络」，不是同等条件。作者自己后来也补了句「再多训练，两边会收敛」。这两个细节，转发里基本都省了。 顺带说个挺说明问题的细节：那条 Reddit 下面赞得最高的评论（262 赞）不是感叹，是提问：「我一直没搞懂『手改权重』到底啥意思，模型是盯着某个 1.253 想『改成 1.259 会更好』吗？」所以这部分我多写两句。 一个神经网络，说到底就是一大堆数字，叫权重。平时这些数字是拿数据喂出来的：看当前错得多离谱，用梯度下降一点点往回拧，重复几百万次。所谓「手写」，就是不让优化器拧了，让模型把这堆数字直接写出来。 它能写出来，靠的是本来就懂法律引用长什么样。有人第二天照这思路在 Hugging Face 放了个开源版（FluidInference/citenet-coreml），把做法摊开了：Claude 先写一份「规则说明书」：哪些判例汇编是真的、哪个州的案子归哪套汇编、卷号大概对应哪些年份；再编译成权重。比如一个只在字符拼成「3 F.3d 」时才触发的卷积核，给数字位按 k·10^i 配的解码器，一个共用的 ReLU「卷号温度计」，还有 relu(8×[联邦上诉汇编] + [州法院] − 8) 这种与门。每个非零权重都有名字，全程零梯度。 看懂这段，就明白为什么 X 上最高赞的纠正只有一句「this is literally distillation」：知识是从预训练里搬过来的，不是凭空长出来的。也难怪 Reddit 有位老哥说，2008 年他就拿笔在纸上给一个 3×6 像素的数字识别网络手调过权重，纯练手。手写权重本身真不新：教科书里 −2、−2、偏置 3 手搓一个 NAND 门是经典例题；2016 年 HyperNetworks 就在用一个网络生成另一个网络的权重；2019 年 WANN 干脆让权重随机、只靠拓扑干活；DeepMind 的 Tracr 能把程序直接编译成 Transformer 权重；ROME / MEMIT 那类模型编辑，本来就是定点改几个权重。新意在于，现在是一个通用大模型用自然语言，把这事在十万参数量级上做出来了。 还有个容易串台的地方。它正好撞上这几天很热的「权重空间编程」（weight-space programming），但把这波点起来的是 11 月 2 日 MIT CSAIL 几位研究者的《Sparks of Weight-Space Programming》。用的是 OpenAI 的 GPT-6 Astra，不是 Claude，做的是改 Qwen3.5-0.8B 的 0.016% 权重把 MATH-500 从 7.9% 拉到 48.1%（这一步其实用了 Python 和几十批练习题，不是纯看裸权重）。同一周还有用 Claude 手写小网络、以及 Claude Opus 5.5 盲审临床网络的预印本。名字像，模型和实验都不是一回事，点进去别混。 泼冷水的也确实不是抬杠： — 没有论文、没有代码、没有评测协议。97.8% 在什么测试集、什么口径下算的，作者没说；到今天才三天，也没人独立复现。 — 那个开源版自己的 Limits 写得比谁都诚实：纯看字符串的网络只能判断「这条引用格式上可能存在」，判断不了「它真的存在」。LePhantomCite 里编的引用是结构上就不可能成立的（比如压根不存在的 F.5th），所以 31/31 全抓住；可 Mata v. Avianca 案里 ChatGPT 编的那六个引用格式完全合规，照样放行。真要用，得当案卷检索前面那道快速初筛。 — 法律场景容错率几乎是零，97.8% 听着高，落到实务里约等于不能用。Reddit 有条评论说得直白：这跟 1% 一样不可用。也有人直接点「过拟合」。 我自己的看法：当成「模型能读懂、并直接改写权重」这条线上的又一个样本挺好，别急着上升到「以后不用训练了」，作者本人都没这么说。Reddit 169 赞那条推的 Sean Goedecke 文章里有个比方我很喜欢：直接改权重，像给编译好的二进制打补丁，厉害归厉害，但正经做法还是改源码重新编译，也就是照常训练。 不过它顺手做出来的东西是真快：M5 Pro 上 Neural Engine 加 GPU 一起跑，每秒约 180 万条引用，3.3 GB 判例全文 2.3 秒扫完。以及「每个权重都有名字」这件事，对做可解释性的人可能比那个准确率更有意思。 📌 想自己核的，材料都在这儿，不用再去别处翻： http://x.com/jacsebl/status/2117606206764175543（原帖） http://reddit.com/r/singularity/comments/1xnplmi（讨论） http://huggingface.co/FluidInference/citenet-coreml（开源实现，含完整 Limits） http://huggingface.co/datasets/ai-law-society-lab/Legal_Phantom_Citation（基准数据集） http://rikiyat.github.io/blog/weight-space-programming/（这波话题的起点） http://seangoedecke.com/llms-are-not-superhuman-at-reading-and-writing-neural-network-weights/ 与 http://honnibal.dev/blog/astra-read-write-misleading（两篇降温）

曝光 9 · 评论 0 · 点赞 0 · 书签 0