Haiku 5.5 加了一个 skill，长文档得分从 0.841 涨到 0.997。 同一套测试里，Opus 5.5 是 0.998。 小模型基本追平了 … · @tvytlx · TwKit

@tvytlx

Haiku 5.5 加了一个 skill，长文档得分从 0.841 涨到 0.997。 同一套测试里，Opus 5.5 是 0.998。 小模型基本追平了 Opus。 这个项目叫 scan-to-vector，做的事挺朴素：把扫描件重新排成一份真正的 PDF。 文字能搜、能复制，图表重画成矢量，放多大都不糊。 我觉得最狠的 demo 是 1786 年 Playfair 那张贸易图（Playfair 算是折线图的发明人）。 agent 先校准版画上的网格，再把两条线描下来，每条线还原出 81 年的数值，存进 csv。 然后只用这份数据重画。画出来的两条曲线落回原图上，也在 1754 年交叉，跟原图一样。 一张两百多年前的版画，变回了数据。 不过更值得看的，是这个作者总结的 agent 三个毛病： 一，它看到的是缩小的页面。视觉模型读的是压缩过的图，位置、字号、小数字，其实都在猜。 二，它不知道自己漏了什么。 三，它总是走最短的路。 解法也很直接。 所有东西都按扫描原图的像素来量，没把握的字放大，每页集中到一张校对单上。 每页重建完叠回原图对比，逐页给 PASS 或 FIX。 第三条最有意思：既然它总挑近路，那就把对的那条路修成最近的。一条命令出全部草稿，改一个错字就是 fixes.json 里的一行。 还有两个细节。 v1 只写了说明，结果 Sonnet 变快了，质量没涨。 到了 v6，不用 agent，光跑草稿脚本就有 0.989。 我觉得我们以为的模型差距，挺大一块其实是流程差距。 强模型也能受益：Sonnet 跑 9 页快了 37%，token 还更少。 边界也说清楚： 3 页的短任务，Sonnet 和 Opus 本来就接近满分，加不加 skill 差别在误差范围内。 测试是合成的英文印刷页，手写和其他语言会难很多。 一页要跑几分钟。如果只是想让扫描件能搜字，加个 OCR 文字层就够了，快得多也便宜得多。 GitHub 上目前才 4 颗星。 看完有点被冒犯。 看不清、不知道自己漏了啥、专挑近路走，这说的不就是我上班的状态嘛。 https://news.ycombinator.com/item?id=50365692

曝光 158 · 评论 1 · 点赞 1 · 书签 0