用途
Embedded Captions 用于在已有的单主体口播视频上添加字幕,不需要重新剪辑原始画面。它的核心特点是对视频做抠像,使字幕可以合成在人物背后,由人物遮挡部分文字,形成嵌入画面的层次感。
主要能力
该技能提供三种后端模式:
- Standard(默认):生成逐字的下三分之一字幕轨,承载大部分文本;在高潮处将一个峰值词嵌入场景、位于主体背后。
- Cinematic:纯嵌入形式,没有字幕轨,每条字幕都合成在主体背后,使用主标题排版、累积、遮挡等效果。
- Theme:主题化方案,由 body 范式 × hero setpiece × front fx × plate reaction 组成,注册表包含 ordnance、terminal、neonsign、stardust、stomp 等主题。
字幕模型将每句话分为三类:drop(填充词,不显示)、rail(普通口语内容,显示为可读的前置字幕,可带行内强调)、embed(被提升的高潮词,合成在主体背后)。每个段落最多一个 hero,避免所有词都嵌入的常见错误。
使用方式
流程大致为:先用 ffprobe 和抽帧检查视频是否适合(拒绝多说话人、硬切、无人像、过短、无声、已有烧录字幕、转写质量差、快速晃动等场景);然后通过 /hyperframes 意图层确认输入并给出身份推荐;运行 npx hyperframes init 初始化项目;执行 bash scripts/prepare.sh <project> 并行完成抠像、转写、音频包络与安全区域分析;接着根据所选模式编写较小的 JSON 创意配置(Cinematic 写 cinematic.json 后用 make-cinematic.cjs 编译,Theme 写 theme.json 后用 render-theme.sh 编译渲染);用 preview-frames.cjs 生成约 2 秒/帧的合成预览做视觉检查;最后运行 render-and-composite.sh 通过各项门禁后输出 final.mp4。
依赖方面,需要在字幕项目中安装 sharp、puppeteer、gsap(示例版本 sharp@0.35.3、puppeteer@25.8.0、gsap@3.15.0),并保证 Bash 与 FFmpeg/ffprobe 在 PATH 中;抠像和转写首次使用可能需下载模型。
适用场景
适用于讲解、访谈、口播等需要逐字可读字幕的视频;Cinematic 和 column-flow 类身份适合诗意、社交或讲求氛围的内容;Theme 适合明确要求“特效”“炸”或特定视觉世界的高规格 VFX 需求。不确定时应选择 anchor(文字可读、场景安全)。不适用于多说话人、硬切、无人像、已有烧录字幕或转写不可读的视频。
限制
原始视频保持不修改(Theme 模式的 PLATE 反应效果为明确例外,且仅限注册门控的反应节拍);不得调色或加扫描线。渲染需等待 CLI 成功退出再合成,不再使用旧的超时看门狗。身份需从 CATALOG.md 的 35 个条目中选择,模式/引擎不向用户暴露为问题;当没有合适身份时应选择最接近的,而不是超出目录。