用 AI 分析视频，很多工具实际上只拿了字幕。 如果视频主要讲软件操作、图表或产品演示，字幕往往不够。比如讲解者说「点击这里」，Agent 根本不知道这里是… · @byCanen · TwKit

@byCanen

用 AI 分析视频，很多工具实际上只拿了字幕。 如果视频主要讲软件操作、图表或产品演示，字幕往往不够。比如讲解者说「点击这里」，Agent 根本不知道这里是哪。 有个开源项目 video2ctx，专门把视频整理成 Agent 能使用的结构化上下文。 除了字幕，还能读取视频元数据、章节、评论、播放列表，以及带时间戳的具体片段。 视觉部分会先建立 Storyboard 索引，只有确实需要看画面时，才用本地 FFmpeg 提取对应时间点的帧，而不是一上来把大量截图全部塞进模型上下文。 安装： npx skills add devhims/video2ctx 如果只需要研究公开 YouTube 视频，可以使用其中的 youtube-ctx，不必先注册 video2ctx 账号或购买托管 API。 装好后可以给 Agent： 「分析这个 YouTube 产品演示视频。提取完整操作顺序，每一步注明时间戳。遇到字幕无法判断的按钮、菜单和界面状态，再定位对应视频帧。最后输出可复现的操作步骤和证据。」 GitHub：https://github.com/devhims/video2ctx 目前公开支持的主要视频平台是 YouTube，托管 API 及持续监控属于另一套需要账号的服务。 作者称能明显减少视频上下文 Token，但具体节省比例还需要按自己的视频任务测试。

曝光 36 · 评论 1 · 点赞 0 · 书签 0