推文

@zouyanjian · 2026-10-13 20:01

9B 建索引、0.6B 接查询，在线检索可以用小模型；选型别把文档和查询两端绑死 Perplexity 10 月 7 日发布的 pplx-embed-v2-late 有两个型号，共享向量空间。官方模型卡明确支持：文档用 9B 型号建索引，查询用 0.6B 型号编码。两个模型的许可证都是 MIT 这项设计适合「资料更新慢、查询多」的产品。文档编码可以离线跑，同一份索引被多次搜索；查询编码每次都得做，延迟也直接影响用户。查询预算紧时，我会先试小模型，文档侧另测大模型是否值得 官方在 ViDoRe v3 图像检索测试里，只替换文档侧模型，查询仍用 0.6B，nDCG@10 从 62.3% 到 63.5%，增加 1.2 个百分点。这是厂商自测的排序指标，不是问答正确率；额外的文档编码开销也仍要付 我会先比较同一批资料的两种索引，再测线上查询速度。记录索引重建时间和存储占用，尤其是资料经常更新的产品，离线开销不能假装只发生一次 还有个前提：这套兼容来自两个模型共享空间，不能随便换成另一家的小模型来查。模型版本、编码配置和索引版本要一起记，否则升级后出了偏差，很难知道哪边变了 你们的检索库是一天重建几次，还是建好以后能用很久？

曝光 132 · 评论 3 · 点赞 2 · 书签 0 · 曝光/时 78.32246092340223