SuperAPI AI 工具集

photo-to-hand-drawn-video

设计与创作

查看项目

更新于 10-16 07:29

技能介绍

用途

该技能用于把一张照片转换成“逐笔手绘”风格的视频:输入为一张单人或居中构图的单只宠物照片,以及一张方形风格化目标图,输出为确定性的、可验证的逐笔绘制过程视频。它强调过程真实性,而非仅追求画面相似度。

主要能力

  • 语义优先的主体规划:先绘制主体,再处理次要背景细节。
  • 有限宽度残差细化与兼容 MyPaint 的笔刷渲染。
  • 光标跟踪、节奏压缩,可选配音乐。
  • 防“揭晓式”校验(anti-reveal validation),避免用整幅揭示来伪装绘画过程。
  • 输出预览图与语义预检 JSON、视频校验 JSON 等可检查产物。

使用方式

  1. 阅读适用契约:准备目标图或运行规划器前读 references/pipeline.md;接受预览或视频前读 references/acceptance.md;安装或再分发运行时文件前读 references/third-party.md。
  2. 准备目标图:检查参考照片;若用户未提供目标图,用可用的图像生成工具生成一张方形风格化绘画,保留身份、姿态、裁剪、主要服装/毛色标记、配饰与主要场景物体,并确保目标图可用马克笔、干刷、纹理墨与勾线笔触复现。发布前用可用的隐私技能清理图像元数据。目标图尝试三次失败后停止,不要强行手动坐标。
  3. 准备依赖:将包含 SKILL.md 的目录视为 SKILL_DIR。
    python3.11 -m venv .venv
    .venv/bin/pip install -r "$SKILL_DIR/scripts/requirements.txt"
    npm install
    npm run install:browser
    python "$SKILL_DIR/scripts/setup_runtime.py" --brushlib-dir /path/to/brushlib-wasm-build
    
    需要 ffmpeg 在 PATH 中。运行时安装会下载并检查 MediaPipe 模型;不会自动下载 brushlib-wasm,因为上游仓库未声明许可证。
  4. 运行预览规划:--run-dir 需保持在 SKILL_DIR/scripts 内,以便基于文件的渲染器加载资源。
    .venv/bin/python "$SKILL_DIR/scripts/run_generalized_s.py" \
      --reference /absolute/path/reference.jpg \
      --target /absolute/path/target.png \
      --subject-type human \
      --run-dir "$SKILL_DIR/scripts/runs/example" \
      --budget-scale 0.5
    
    单只居中宠物用 --subject-type animal;仅在已安装 MediaPipe 模型时用 auto。检查 generalized-s-preview.png 与 semantic-preflight.json;若主体未先于次要背景细节绘制,或身份区域畸形,则拒绝该规划。
  5. 渲染成品视频:保留的 S 质量级别用 --budget-scale 2.0;仅在用户拥有发布权时加 --music。
    .venv/bin/python "$SKILL_DIR/scripts/run_generalized_s.py" \
      --reference /absolute/path/reference.jpg \
      --target /absolute/path/target.png \
      --subject-type animal \
      --run-dir "$SKILL_DIR/scripts/runs/production" \
      --budget-scale 2.0 \
      --render \
      --duration 64.03 \
      --fps 25 \
      --music /absolute/path/music.mp3
    
    最终交付物不要使用 --skip-video-validation。查看 video-validation.json 后,再按 references/acceptance.md 做视觉检查。
  6. 报告结果:先给出视频与最终预览路径,再报告检测到的契约与主体类型、来自 metrics 的笔触数与预算比例、视频时长/分辨率/校验结果、目标图生成重试情况、是否应用音乐与隐私清理,以及当前的构图与视觉质量限制。自动化通过只能称为工程通过,不代表作品在视觉上优秀。

适用场景

适用于单人或居中构图的单只宠物照片的手绘过程视频制作,且需要可验证的逐笔过程与防作弊校验。

限制

  • 不承诺任意图像覆盖,仅支持单人或居中单只宠物。
  • 禁止将目标图合成进运行时帧;禁止使用 drawImage、裁剪蒙版、destination-in、图像补丁或整幅画布揭示笔触来模仿绘画。
  • 不得只针对 SSIM 优化,需分别保留过程真实性、身份相似度、边缘质量与防复制检查。
  • 除非用户拥有权利并明确要求发布,否则原始照片、生成目标图、音乐、模型与成品视频不要放入 Git。
  • brushlib-wasm 需手动提供构建目录,上游仓库未声明许可证。
  • 关于收费、价格、平台支持等事实,资料中暂未提供。