SuperAPI AI 工具集

aip-dynamic-caption

写作与研究

查看项目

更新于 10-31 17:42

技能介绍

用途:该技能为 AI Producer 项目编写字幕,并把字幕组织成“字幕时刻”(caption moments),也就是一段语音对应一个独立的视觉时刻。字幕文本是静态文本元素,用户可以在编辑器里选中、重新输入、改色和换字体,因此字幕里的每个词都必须写在合成 HTML 中,不能由脚本生成。

主要能力:

  • 按最终剪辑生成字幕时间:在 render-engine 目录运行 caption_cues.py,并可通过 --max-words 控制每个 cue 一次显示多少词(默认 4;逐词显示用 1;中文、日文等每个词只有一两个字符的转写可用 8 到 12)。脚本会同步 compositions/editing-script.json,并输出每行字幕的 id、src、剪辑上的起始点、时长、src_anchor 以及各 cue 的 in、out 和词时间。所有时间都应取自该脚本输出,不能自己用 get_transcript 做算术推算。
  • 字幕时刻不跨说话人切点、句末或长停顿,便于用户在编辑器中整体移动;在一个时刻内部切割会让后文提前,切掉首词会导致整个时刻被隐藏,重新按新剪辑写一遍即可恢复。
  • 挂载方式:在 index.html 根节点内、所有其他 moment 之后,用同一轨道挂载每个字幕时刻的 host,避免其他 moment 占用该轨道,使字幕绘制在最上层。
  • 发布:字幕 host 与 index.html、同步后的 EditingScript、字体文件一起发布;单次提交最多 200 个文件、内联内容最多 256 KiB,长视频需按时间线顺序分多次提交,最后一次才结束 authoring。
  • 重新剪辑:已挂载字幕时刻时,EditingScript 同步会拒绝改动剪辑(editing_script_mounted_captions_require_rebake);需先从 index.html 移除字幕 host、在下次提交中删除其文件,再改剪辑、重新运行脚本并重写字幕。服务此前生成的字幕层(narrator-captions host)在用户要求改字幕或改剪辑前保留,之后按同样方式替换。

使用方式:每个字幕文件是一个独立合成,包含 @font-face 与 cue 样式;每个 cue 对应一个元素,文本写在 HTML 中,data-in 与 data-out 取自脚本输出,时间线只读取这两个属性控制显隐,改时间不影响文本。同一时间只显示一个 cue,下一个出现时前一个离开。每个 cue 的入场或出场动画应从其 data-in 开始或到 data-out 结束;逐词效果可为每个词包一个 span,并使用该词自己的时间。每个字幕文件不超过 64 KiB,且每个文件都要重复 @font-face 和 cue 规则,以保证独立渲染。字幕时刻不是 beat,不带音效,也不计入精剪的视觉 moment 数量。

默认外观:无参考、用户也未说明时,字幕统一为 Inter Bold、白色、柔和深色阴影、居中,字号约画布短边的 6%(1080 宽画布为 64 px),最多两行,不强调某个词。竖屏画布上字幕带中心位于帧高 70%,横屏或方形且说话人占满画面时为 78%;在视觉 moment 下方时,位置按取景技能为该布局设定的字幕位置,并设置到该处播放的每个 cue 上。字体需从 Google Fonts 或其 Fontsource 镜像下载并放到 public/fonts/,与首个字幕文件同次上传;字幕字符所需的字体都要准备,Inter 不支持的语种(如中文、日文、韩文、阿拉伯文、印地文)改用对应文字的 Noto Sans 家族。不要使用未准备的字体名,因为导出机器使用自带字体,未准备的名称会显示为其他字形。

有参考时:当用户的剪辑复制某个参考,由参考风格技能决定字幕外观、哪些 cue 同时出现及布局,整体替换默认外观;本技能的时间、挂载与可读性规则仍然适用。

可读性要求:每个词在屏幕上显示的整个期间(包括入场或强调的最大缩放)都完整位于画布安全区内,竖屏还需避开右侧平台按钮和底部字幕栏;cue 在框内换行而不是缩小字号,若会出现第三行则拆分为多个 cue;不要在标题叠层、整屏陈述封面、带文字的 logo、引用卡或细节需占用字幕带的全屏封面下播放 cue,遇到这些情况应丢弃相应 cue,若所有 cue 都落在这些区域则丢弃整个时刻。

限制:该技能不使用服务自带字幕层,不调用 build_captions,不使用 narrator-captions id,也不写 compositions/narrator_captions.html 或 compositions/transcript-src.json;字幕内容不得改变实际所说的话,只可合并或拆分 cue、修正拼写、大小写或标点。