SuperAPI AI 工具集

hyperframes-media

设计与创作

查看项目

更新于 10-15 19:57

技能介绍

用途:为 HyperFrames 合成准备素材,包含 tts(语音)、transcribe(词级时间戳)、remove-background(透明视频/抠图)三条 CLI 命令。首次运行下载模型并缓存于 ~/.cache/hyperframes/,产物放入项目后在合成 HTML 中引用。

文本转语音:本地运行 Kokoro-82M,无需 API key。示例:npx hyperframes tts "Text here" --voice af_nova --output narration.wav;也可传入 .txt 路径,用 --list 查看全部 54 个音色。默认音色 af_heart。音色 ID 首字母表示语言(a 美式英语、b 英式英语、e 西班牙语、f 法语、h 印地语、i 意大利语、j 日语、p 巴西葡语、z 普通话),CLI 自动检测音素化区域,仅在需要覆盖时用 --lang(en-us、en-gb、es、fr-fr、hi、it、pt-br、ja、zh)。非英语音素化需系统安装 espeak-ng。语速建议 0.7-0.8 教程、1.0 默认、1.1-1.2 开场、1.5+ 慎用。长脚本写入 .txt 传入,超过约 5 分钟建议分段。依赖 Python 3.8+ 及 kokoro-onnx、soundfile。

转写:生成带词级时间戳的 transcript.json,支持音频、视频及导入 srt/vtt/OpenAI 响应 JSON。语言规则:除非明确为英语,不要用 .en 模型,否则会把非英语翻译成英语。已知非英语用 --model small --language <code>;已知英语用 small.en;未知语言用 small 自动检测。默认模型为 small。模型从 tiny(75 MB)到 large-v3(3.1 GB)。输出为扁平词对象数组,含 id、text、start、end。

背景移除:用 u2net_human_seg(MIT)抠出人物等主体,输出透明视频或图片。示例:npx hyperframes remove-background subject.mp4 -o transparent.webm(默认 VP9 alpha WebM),.mov 为 ProRes 4444,.png 为单图抠图。--background-output 可同时输出反向 alpha 的 plate 层,仅适用于视频输入与 .webm/.mov 输出;plate 是挖洞而非修复,需在下方垫不透明内容。--quality fast|balanced|best 只控制 VP9 CRF,分割质量固定。合成时注意:抠图视频的透明度动画要放在无 data-* 的包裹 div 上,框架会强制活动片段 opacity:1;两段视频用相同 data-start 与 data-media-start 保持同步。

限制:模型首次下载体积较大;非英语音素化需 espeak-ng;背景移除不提供干净底板修复,需另用 inpainter;其余细节资料未提供。