SuperAPI AI 工具集

wjs-voicedrop-creating-motion-book

设计与创作

查看项目

更新于 10-27 02:22

技能介绍

本技能用于把一整本书制作成按章划分的解说动画,旁白直接采用书架“听本章”的整章朗读,不撰写新稿,也不调用 TTS 合成新语音。整体基于 huashu-art-motion 的 Canvas 逐帧引擎、风格配方,以及 qa 和 deliver 两道门禁;在此基础上,增加了三部分内容:整本书的分章流水线、画风套件库(kits/,把选定过的画风做成库,供下一本书直接复用),以及公用组件(scripts/*.mjs 与 player/),避免每本书重复实现。开工前需要先阅读 huashu-art-motion 的 SKILL.md 中“导演的要求”和“六种做坏方式”。

用途与输出形式 将一本书拆成章节,并生成每章解说动画。默认输出竖屏 1080×1920@30(视频号 9:16),交付 HTML 版;只有用户要求时才渲染 MP4,且仅在 Mac 上执行。片长等于全书朗读长度,一章约 4–8 分钟。音频只有一个来源:书架听书的整章朗读。

主要流程(步骤顺序是强制的)

  1. 取书:通过 VoiceDrop MCP 的 list_books、read_book 获取 slug、章名和听书章节 stem,写成章名文件。
  2. 选画风:先根据内容画像选择语法和画风,再准备 3 个候选,用同一句台词各出一个主镜头,由独立评委按 7 个维度打分;新画风先做成 kits/<名>/。生成主镜头需要 Chromium,因此 VPS 上只能按画像和套件的 fits/avoid 从已有套件中选择。
  3. 建工程:运行 new_book.mjs,复制引擎、安装套件与字体,并写入 book.json 与章节制作规范。
  4. 取口播:运行 narrate.mjs,优先使用听书 mp3 缓存;如果未命中,就经听书接口合成一次并写回缓存,然后做 ASR,以 ASR 文本为稿,获得句时间。全流程唯一可能产生 TTS 费用的地方就是这一步,且每章只发生一次。
  5. 分章制作:章节 agent 并行,每个负责 1–2 章,产出 scenes/book/chNN.js、音频/chNN.shots.json、镜头表/chNN.md;先写好贯穿全书的道具。画面全部按第 4 步 mp3 的 ASR 句时间切镜。
  6. 总装:运行 assemble.mjs,进行音轨帧级拼接、插入静音帧并生成段落表和字幕;缺章可先看 --allow-missing。 6½. 冒烟检查(必做):运行 smoke.mjs,在不输出像素的情况下跑完整本,检查启动错误、运行时报错、缺字形和框景;有错不交付。一本 20 分钟约 15 秒,VPS 上约 2 分钟。
  7. 审片:由独立审片 agent 查看 qa 拼图与口播文本,打分并列出问题,再回给对应章节 agent 修改。
  8. qa:运行 qa_batches.mjs 与 framing_sheet.mjs,检查冒烟检查发现不了的问题,例如画面好坏、近空白、图形出画和确定性;框景线索出两帧拼图,两帧都切边才修改。
  9. HTML 交付:运行 build_html.mjs 打包公用播放器;在 Mac 上发布 Artifact,在 VPS 上把 html/ 目录传到静态站。
  10. MP4(按需):运行 render_chunks.mjs,按章分段渲染、可续跑,并发数按空闲内存自动计算;出片后自动用 add_cover.mjs 加 1 秒书封片头与 MP4 封面元数据,再走 deliver 门禁。

局部修改 如果只改了几镜,修改 chNN.js 后重新运行第 9 步(HTML 不到 1 秒);MP4 则删除 成片_vN_chunks/chNN.mp4 后重新运行第 10 步,其余章复用。

适用场景 适合把已写完的书(尤其是 VoiceDrop 书架中的书)批量做成章节化、配原书朗读的解说动画,并发布到书架 video/ 入口。已有套件包括 kurzgesagt(科学、医学、技术机制)和 banknote(货币、央行、金融制度),新画风的书完成后收入 kits/。

云端一次性运行 在 Tokyo VPS 的 root 下运行 bash cloud/run_book.sh <slug> [--only ch01,ch02],会自动开 Vultr 机器、安装环境,用 claude -p 无人值守地从取书做到 HTML,拉回产物并发布,然后销毁;除非使用 --keep,退出时必定销毁,另有 reaper 定期清理超过 6 小时的机器。--dry 只验环境。云端没有 VoiceDrop MCP,改用 fetch_book.mjs 读取公开的 _src/book.json。线上入口 voicedrop.cn/books/<slug>/video/ 可自动下单,限制为只做写完的书、一次 1 本、每天最多开工 2 本。

运行环境与限制 需要 Node ≥20、huashu-art-motion 引擎(可由 HUASHU_ENGINE 指向)和火山 ASR 凭据;Mac 上另需 uv、ffmpeg、Playwright Chromium,这些仅用于 qa、静帧和 MP4。渲染并发按空闲内存与核数自动计算。无人值守时子 agent 只能前台并行,不能用后台 agent。Vultr API key 有 IP 白名单,需要在控制台放行 Tokyo VPS 的 IPv4。听完的整本书、具体画风选择结果等细节,需要按项目实际执行确定。