用途:为 HyperFrames 合成准备素材,包含三条 CLI 命令——tts(语音)、transcribe(词级时间戳)、remove-background(透明视频/图片抠像)。首次运行下载模型并缓存于 ~/.cache/hyperframes/,产物放入项目后由合成 HTML 引用。
文本转语音:本地用 Kokoro-82M 生成,无需 API key。示例:npx hyperframes tts "Text here" --voice af_nova --output narration.wav;npx hyperframes tts script.txt --voice bf_emma --output narration.wav;npx hyperframes tts --list 列出全部 54 个音色,默认 af_heart。音色 ID 首字母表示语言(a 美英、b 英英、e 西、f 法、h 印地、i 意、j 日、p 巴葡、z 中文),CLI 据前缀自动检测音素化语言;仅需覆盖时用 --lang(en-us、en-gb、es、fr-fr、hi、it、pt-br、ja、zh)。非英语音素化需系统安装 espeak-ng。语速建议 0.7-0.8 教程、1.0 默认、1.1-1.2 开场、1.5+ 慎用。长脚本写入 .txt 传路径,超约 5 分钟建议分段。依赖 Python 3.8+ 及 kokoro-onnx、soundfile。
转写:生成带词级时间戳的 transcript.json。示例:npx hyperframes transcribe audio.mp3;npx hyperframes transcribe video.mp4 --model small --language es;也可导入 .srt、.vtt 或 openai-response.json。语言规则:除非明确为英语,勿用 .en 模型,否则会把非英语翻译成英语。已知非英语用 --model small --language <code>;已知英语用 small.en;未知用 small 自动检测。默认模型为 small。模型可选 tiny/base/small/medium/large-v3。输出为扁平词对象数组,含 id、text、start、end。
背景移除:npx hyperframes remove-background subject.mp4 -o transparent.webm(默认 VP9 alpha WebM),-o transparent.mov 为 ProRes 4444,图片输出 .png。--background-output 可同时输出反向 alpha 的 plate.webm,仅适用于视频输入与 .webm/.mov 输出;plate 是挖洞而非修复,需在下方合成不透明内容。--quality fast|balanced|best 仅控制 VP9 CRF。使用 u2net_human_seg(MIT),首次下载约 168 MB 权重。
限制:plate 不能替代 inpainter 生成干净背景;抠像叠在同源 mp4 上可能出现重影,建议用 best 质量;合成中动画应作用于包裹 div 的透明度而非视频元素。资料未提供收费与价格信息。