HyperFrames 是一个以 HTML 为创作格式的视频渲染框架。一个合成就是一个 HTML 文件:其 DOM 用 data-* 属性声明时间信息,动画运行时可被任意定位(seekable),媒体播放由框架负责。完整的编写约定放在 /hyperframes-core 中,在编写合成 HTML 前应先阅读。
一、能力地图(领域技能) 这些是按需加载的原子能力,不是完整的视频工作流;「做一个视频」类请求应走下面的意图路由。
- /hyperframes-core:编写/编辑 HTML 合成,包括 data-* 约定、片段、轨道、子合成、变量。
- /hyperframes-animation:动画,包括原子运动、场景蓝图、转场,以及 GSAP / Lottie / Three.js / Anime.js / CSS / WAAPI / TypeGPU 等运行时适配。
- /hyperframes-creative:创意方向,包括 frame.md / design.md、配色、字体排印、旁白、节拍规划、音频响应。
- /hyperframes-media:媒体,包括 TTS 配音、背景音乐、转写、背景移除、字幕。
- /media-use:媒体解析,从 HeyGen 目录查找并固定 BGM、音效、图片、图标到 .media/,带清单跟踪。
- /hyperframes-cli:命令行开发循环,包括 init、lint、validate、inspect、preview、render、publish、doctor。
- /hyperframes-registry:安装注册表块/组件(hyperframes add)。
二、意图路由 路由前先确认输入而非规格:需要知道视频讲什么、输入是什么。若未说明(例如「给我们东西做个视频」但没有 URL、产品或主题),应先询问,最多两个问题:输入是产品(URL/简报)、普通网站、GitHub PR、要解释的主题,还是已有的口播视频。规格默认值直接声明而不询问:画幅 16:9(只有明确面向 TikTok / Reels / Shorts 等竖屏渠道才用 9:16);旁白/字幕语言跟随用户。
工作流速查:
- /product-launch-video:营销、发布、推广产品,输入可为产品 URL、简报或脚本(即使只提到站点名)。输出产品发布/SaaS 宣传片 MP4,常见时长 30–90 秒。
- /website-to-video:把普通网站转成视频,如站点巡览、作品集/落地页展示、基于站点视觉的社交短片。输出 MP4。
- /faceless-explainer:从文本解释主题/概念,无产品、无 URL,画面全部由 LLM 生成。输出 MP4,附带 pin-and-paper 预设,常见 30–90 秒。
- /pr-to-video:把 GitHub PR/代码变更做成更新日志、功能揭晓、修复或重构讲解。通过 gh CLI 读取。输出 MP4。
- /embedded-captions:为已有口播视频加字幕,画面不动。本地 Whisper 转写、RVM 抠像使主体可遮挡字幕。输出标准(逐字下三分之一字幕条 + 嵌入高潮字幕)或电影感(所有字幕合成在主体之后)。任意长度。
- /talking-head-recut:为已有口播/访谈/播客视频加设计化图形叠加,如动态标题、下三分之一、数据标注、引用卡、侧栏、画中画,与转写同步,画面完整保留。任意长度。
- /motion-graphics:短小、设计驱动、无旁白的动态图形,通常 10 秒内,运动本身即信息。输出 MP4 或透明叠加层(alpha WebM / MOV)。
- /music-to-video:以音乐为输入(音频文件或从中提取音频的视频),无旁白、不抓取网站。先分析成确定性的节拍/能量图(audiomap.json),全片据此构建;可选用用户图片/视频按节拍网格剪辑。输出 MP4。
- /slideshow:制作演示文稿/路演/交互式幻灯片,输出可导航的放映文档而非渲染视频,支持离散页、片段揭示、分支、热点导航、演讲者模式与备注。
- /general-video:上述之外的任意内容,长度与输入不限,走原始流程:设计系统 → 提示扩展 → 规划 → 先布局后动画 → 构建(委派给 hyperframes-* 技能)→ 校验。
- /remotion-to-hyperframes:把已有 Remotion(React)合成单向迁移到 HyperFrames,用 SSIM 评估与分级测试语料对照 Remotion 渲染结果。
消歧:10 秒内、运动为主的无旁白短片走 /motion-graphics;URL 或脚本推广具体产品走 /product-launch-video,普通非产品站点走 /website-to-video,GitHub PR 链接走 /pr-to-video,无产品/站点的概念讲解走 /faceless-explainer;已有素材的纯口语字幕走 /embedded-captions,设计化叠加卡片走 /talking-head-recut,两者都不编辑素材本身(重定时、调色、重构图、重排、音频属 NLE 剪辑,不在范围内);音乐为输入且无旁白走 /music-to-video;演示文稿/交互式幻灯片走 /slideshow;明显超过约 3 分钟、静态/循环/自定义格式走 /general-video。
三、工作流未安装时 若匹配的工作流技能未安装,不应猜测,应让用户先安装:
- 单个工作流:npx skills add heygen-com/hyperframes --skill <workflow-name>(例如 --skill pr-to-video,名称不带前导 /)。
- 全部工作流:npx skills add heygen-com/hyperframes --all(核心 + 全部工作流,跳过选择器)。 安装后重新读取该工作流技能并继续。
四、保持技能最新 HyperFrames 技能有版本。npx hyperframes init 会把已安装技能与 GitHub 最新版对比,有缺失或过期就安装/刷新整套;对已是最新的项目重复 init 无操作。该检查是一次快速 GitHub 往返,离线或限流时会在短暂超时后回退安装,因此 init 不会因网络问题硬失败。创建类工作流会以 init 搭建脚手架,所以新项目总会触发该检查。--skip-skills 当前被临时停用(等待 skills.sh 注册表跟上),传了也不再跳过检查;CI/测试可通过 HYPERFRAMES_SKIP_SKILLS=1 环境变量退出。 检查:npx hyperframes skills check(加 --json 输出机器可读结果;有过期或缺失时非零退出)。 更新:npx hyperframes skills update,拉取整套最新并安装缺失项。 渲染 / lint / validate 检测到技能过期时,CLI 也会给一行提醒。
五、限制说明 资料未提供该项目的收费、价格、平台支持范围、性能指标与效果保证等信息;HyperFrames 不负责对已有素材本身做重定时、调色、重构图、重排或音频等 NLE 剪辑;/slideshow 的输出是可导航文档而非视频。