用途:对 course-bundle 课程包内的全部截屏进行编目,为后续手顺提取与概念提取提供图像索引。主要能力:逐帧读取图像并分类(核心类型包括 title_slide、content_slide、browser_screenshot、terminal_screenshot、diagram、talking_head、transition,课程特有画面可注册为 custom_types);OCR 提取全部文本;记录 visual_elements、keywords、confidence 与 is_ui_walkthrough;生成章节级 visual-index.json 与项目根目录的整体 visual-catalog.json(含 type_distribution 与 high_value_frames)。使用方式:先确保 manifest.json 存在,否则需先跑 course-ingest;再确保截图目录存在,否则需先跑 video-to-frames;每张图必须用 Read 工具实际读取后分类,禁止凭文件名推测;分批处理,每批 5-10 张;输出需符合 schemas/visual-index.schema.json;推荐使用 sonnet 模型并按章节切分多 Agent 并行运行。适用场景:需要从课程录屏截屏中建立可检索视觉目录,衔接 procedure-extractor、concept-extractor 等下游技能。限制:截图与 manifest 依赖前置技能生成;课程特有类型每课最多 5 种且须在课程内出现 2 次以上,命名用 snake_case;未通过事实核查的内容暂未提供。
visual-indexer
通用与其它
更新于 10-15 23:40