用途
该技能用于对 YouTube 视频进行多模态深度分析，同时处理两条信息通道：
- 音频通道：带时间戳的字幕（视频中说了什么）
- 视觉通道：抽帧加图像分析（视频中展示了什么）
大多数 YouTube 技能只提取字幕。本技能通过将视觉帧与语音内容同步，弥补了这一缺口，从而能够生成准确的逐步操作指南——例如把“点击蓝色按钮”这句话与显示该按钮的实际截图对应起来。
主要能力
- 获取视频元数据（标题、时长、视频 ID）
- 提取带时间戳的字幕片段
- 下载视频并按策略抽帧（固定间隔或场景变化检测）
- 将帧与字幕按时间戳同步
- 对每一帧进行多模态分析，结合字幕上下文
- 识别仅存在于视觉通道的信息（如具体按钮名称、菜单路径、屏幕上可见但未朗读的代码、错误信息等）
- 输出三种格式：逐步操作指南、带视觉锚点的综合摘要、技术细节分析
使用方式
工作流程如下：
- 设置工作目录
- 获取视频元数据：
yt-dlp --print title --print duration --print id "$VIDEO_URL" - 提取字幕：先通过
yt-dlp --dump-json获取字幕 URL，再用 curl 下载 json3 格式字幕并解析为带时间戳的文本 - 下载视频并抽帧：使用 yt-dlp 下载 720p 视频，再用 ffmpeg 按自适应间隔抽帧（时长小于 5 分钟用 10 秒间隔，5-20 分钟用 20 秒，20-60 分钟用 30-45 秒，超过 60 分钟用 60 秒并询问用户是否聚焦特定片段）；对于软件教程或 UI 演示可使用场景变化检测
- 将帧与字幕同步：计算每帧时间戳，找到覆盖该时间戳的字幕片段，形成同步对
- 多模态分析：读取每一帧图像，结合字幕上下文，合成结构化输出
适用场景
- 软件操作教程：使用场景变化检测，UI 切换会产生清晰的视觉断点
- 实体操作指南：使用更密集的抽帧间隔（10-15 秒），因为动作更细微
- 需要精确步骤的指南：将语音与截图对应，生成可跟随的操作步骤
- 技术细节分析：分别分析音频和视觉通道，并检测两者之间的差异
限制
- 字幕下载可能遇到 YouTube 速率限制（HTTP 429），需使用
--dump-json两步法 - 如果视频完全没有字幕，只能进行纯视觉分析
- 超过 60 分钟的视频需要询问用户是否聚焦特定时间段
- 视频画质差或帧模糊时，需要以更紧的间隔抽取更多帧来补偿
- 年龄限制或私密视频无法访问，可建议使用
--cookies-from-browser - yt-dlp 下载失败时可尝试替代格式
-f "best[height<=720]" - 分析完成后需清理临时文件：
rm -rf "$WORK_DIR"
最佳实践提示
- 先阅读字幕，识别“有趣的时间戳”，寻找“如你所见”“让我展示”“在屏幕上”等短语，这些标志着重要的视觉时刻
- 分析帧时始终提供字幕上下文，演讲者通常会解释即将展示的内容
- 批量读取帧（每批 8-10 帧）以保持上下文并检测视觉变化
- 并行提取两条通道：在处理字幕的同时开始下载视频以节省时间