用途
Talking Head Recut 用于给一段本地完整播放的口播 / 访谈 / 播客视频做图形化重新包装。它在原视频之上叠加一串按时间同步的、经过设计的图形卡片(动态标题、下三分之一字幕条、数据标注、引言、侧面板、画中画等),卡片的时机与内容与视频中正在说的话同步。
注意:本技能处理的是“设计感图形叠加”,而不是普通字幕(即把说的话变成文字字幕)。如果目标是纯字幕,应使用 embedded-captions;如果是从零开始制作视频,则应使用相应的创作工作流。
主要能力
- 原视频保持原样播放,不做裁剪替换。
- AI 设计每张卡片的时机与内容,并直接在对话中编写每张卡片的 HTML。
- 将每张卡片组装为单一 composition HTML,并通过 hyperframes 渲染为 MP4。
- 没有固定的卡片原型列表,也没有规定的卡片结构,叠加内容根据转写文本实际内容生成。
- 支持五种卡片区域:fullscreen(全屏)、whiteboard-area(白板区,内缩边距)、lower-third(下三分之一,底部 30% 带)、side-panel(侧面板,横屏为右侧 42%,竖屏为底部 40%)、video-overlay(全画布,多为半透明卡片)。
- 卡片数量根据时长和信息密度自动推断,下限固定为 5 张。
- 可选的结尾卡片:技能本身不附带固定品牌片尾,用户如需可自行设计中性片尾卡片。
使用方式
依赖 hyperframes CLI 以及系统 ffmpeg / ffprobe。转写使用本地 Whisper(hyperframes transcribe),不需要 API key、代理或限流服务。
工作流程概览:
- 检查环境:运行
npx hyperframes doctor检查 ffmpeg、无头浏览器、渲染依赖,并确认技能内置资源(fonts、gsap.min.js)。macOS 上渲染建议执行export PRODUCER_BROWSER_GPU_MODE=hardware。 - 创建作品目录:所有产物放在
videos/<project-name>/下。 - 提取音频与元数据:用 ffprobe 生成 metadata.json(时长 / 宽 / 高 / fps),用 ffmpeg 提取 audio.mp3。
- 转写:运行
npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en,生成本地词级 transcript.json。注意把卡片结束时间与总时长限制在 metadata.json 的时长内,避免渲染出黑尾。 - 校对转写:修正同音词、产品名、技术术语、标点等 ASR 错误,保留原始时间戳。
- 在对话中起草轻量 storyboard(storyboard.json 仅为规划产物,供作者理清时机与内容,没有 CLI 命令消费它)。
- 决定渲染策略:先与用户确认输出比例、布局、风格和卡片密度预设。系统会根据源视频宽高比推荐比例(≥1.5 推荐 16:9,≤0.7 推荐 9:16,介于之间推荐 4:5),并给出自动卡片数量。如用户已预先同意默认值或要求自主决定,可跳过提问并使用推荐比例、layout="stack"、编辑/数据类中性风格与自动数量。
- 编写卡片 HTML 并组装 composition。
- 通过 hyperframes 渲染为 MP4。
渲染策略中支持四种布局:side-by-side(左右分屏)、top-bottom(上下叠加)、picture-in-picture(画中画)、full-screen overlay(全屏覆盖)。
卡片数量推断规则:先按时长取基础节奏(<60s 为 6–8 秒/卡,60s–3min 为 8–12 秒/卡,3–10min 为 12–20 秒/卡,10–30min 为 20–35 秒/卡,>30min 为 30–60 秒/卡),再按信息密度乘系数(高密度 ×0.7,中密度 ×1.0,低密度 ×1.5),最后 cardCount = max(5, round(videoDurationSec / secPerCard))。单卡超过约 15 秒时应规划更丰富的卡片内容;大量卡片超过 30 秒时,可考虑把时间线拆分为子 composition。
适用场景
- 口播、访谈、播客视频的图形化再包装。
- 需要把长视频切分成信息密度更高、节奏更快的成片的场景。
- 需要数据标注、引言呈现、侧面板信息、画中画等叠加效果的内容。
限制
- 只处理本地完整播放的视频叠加,不负责纯字幕(应走 embedded-captions),也不负责从零创作视频(走创作工作流)。
- 需要系统安装 ffmpeg / ffprobe,并依赖技能内置的字体与 GSAP 资源。
- 转写为本地 Whisper,虽然无需 key,但会消耗本地算力。
- 关于收费、价格、具体平台支持范围、效果指标等信息,资料暂未提供。