mascot-video 是一个把用户提供的图片变成会说话吉祥物,并将脚本生成为唇同步竖版视频的技能。它保持图片原有姿势,由引擎绘制嘴部动作和眨眼,而不是重新绘制角色。
主要能力与流程:
从图片新建吉祥物时,如果设置了 ANTHROPIC_API_KEY,执行 python make.py create <name> --image <path> 会自动完成步骤 1-4,随后读取模型表并进入第 5 步。在 Claude Code 中未设置密钥时,需手动操作:先运行 python make.py new <name> --from-image <path>,名称使用小写加连字符格式。
接着运行 python make.py check <name>,查看 out/<name>/check/grid.png。在网格的像素坐标中找到嘴部中心和双眼中心,用 PIL getpixel 在嘴旁采样肤色。然后编辑 mascots/<name>/mascot.py:当图片本身已有嘴时,设置 MOUTH = dict(at=..., width=..., cover=dict(color=<skin>, size=(w, h)));眨眼设置 EYES = dict(left=..., right=..., size=(rx, ry), lid=<skin>)。宽度约为所绘制嘴部宽度的 1.1 倍。之后再次运行 check 并查看 model_sheet.png,确认 9 个嘴型贴合面部并完全遮住原嘴,反复调整直至符合要求。
声音方面需询问使用哪种提供方:macOS say 无需配置;ElevenLabs 需要在 .env 中设置 ELEVENLABS_API_KEY;Voicebox 或自行录音则设置 VOICE = {"provider": "file"} 并传入 --audio。若要新建 ElevenLabs 声音,使用 design-voice,让用户试听后再 save-voice。
生成视频时运行 python make.py video <name> --text "...",之后运行 python make.py sheet <name> <take dir> 0.5 2 4,并在报告前先读取该表。
对于已有吉祥物,可直接运行 python make.py video <name> --text "...",或使用 --script file.txt,或 --audio file.wav --text "same words"。更多姿势或手绘嘴型参见 mascots/_template/README.md 中的文件名说明,触发词在 TRIGGERS 中。
常见修复方式:嘴太大、太小或偏离中心时调整 MOUTH.width / MOUTH.at;原嘴露出时增大 cover.size 或修正 cover.color;唇同步偏松时执行 bash scripts/install_rhubarb.sh(回退方案仅依据音量),并在传入音频时同时提供 --text;字幕词错误时运行 pip install openai-whisper。
适用场景为将静态图片角色快速制作成口播竖版视频。限制方面,唇同步效果依赖 Rhubarb 或回退方案,字幕准确性依赖 openai-whisper;部分功能需要相应 API 密钥。其余未在资料中说明的价格、平台与效果信息暂未提供。