现在的多模态模型很会回答“图片里有什么”。 但让它进一步指出“东西在哪”，甚至精确到每一个像素，通常还得外挂检测、分割、抠图等多个模型。 腾讯微信视觉团队发… · @RwatitFahsa · TwKit

@RwatitFahsa

现在的多模态模型很会回答“图片里有什么”。 但让它进一步指出“东西在哪”，甚至精确到每一个像素，通常还得外挂检测、分割、抠图等多个模型。 腾讯微信视觉团队发布的 WeVisOne-VL，想把这条流水线塞进一个模型里。 它同时支持目标检测、指代定位、计数、OCR、分割和 Alpha Matting。用户可以要求它返回一个点、一个框、一张二值蒙版，或者带透明度的精细抠图结果。 实现方式也挺有意思。 位置通过 `<0>` 到 `<1000>` 的坐标 Token 生成；目标不存在时返回 `None`；需要像素级结果时，模型输出一个特殊的 `<OBJ>` Token，再交给只有 960 万参数的轻量 Pixel Decoder 生成 Mask 或 Alpha Matte，不需要额外挂一套 SAM。 这套设计真正有价值的地方，是把“理解图片”和“操作图片”接到了一起。 比如： 识别商品后直接完成抠图； 看懂截图后定位按钮； 找到照片中的指定人物； 统计零件数量并标出位置； 确认目标不存在时，拒绝凭空画一个框。 团队发布了 2B 和 4B 两个版本。按其公开结果，4B 模型在 30 多个基准上取得较强表现，其中 WeRef-Bench 的目标不存在拒绝率达到 96.4%。 不过现在还不能只看排行榜就下结论。 这些数字主要来自团队报告，真实业务里的模糊图片、复杂提示、推理速度和连续操作稳定性，还需要更多独立测试。微调代码也仍在项目的待办列表里。 但方向已经很清楚： 视觉模型正在从“会看图聊天”，走向“能指出对象、选中对象，再对对象动手”。 这一步，对图片编辑、GUI Agent、电商和工业视觉都很关键。 https://huggingface.co/papers/2610.31329

曝光 60 · 评论 1 · 点赞 2 · 书签 0