用途:把一段短视频转成带旁白的漫画条。核心难点不是绘画,而是不虚构视频内容。流程分五阶段:探测→事实核对→旁白→绘制→质检/合成,其中事实核对是关卡。
依赖:processing-video(需 ffmpeg)、invoking-gemini(图像与视频模型)、proxy.env(CF 网关凭据,由 gemini 客户端自动读取)。
阶段0 探测与抽帧:用 ffprobe 读取时长,用 ffmpeg 按 fps=1、scale=640 抽帧,同时保留全分辨率静帧作图像模型参考;必要时按时间戳抽取全分辨率帧。
阶段1 核对故事线(关卡):未从画面确认主体与动作前不得撰写旁白。缩略图易误读,错误故事线会把幻觉洗成成品图。推荐模式B:用 gemini-3.5-flash 原生理解视频,先压缩为小文件再以内联数据发送;长片段可采样帧或使用 File API。模式A:自行查看帧,制作联系表并查看足够多全分辨率帧,确认每个主体与动作。若用户已给出故事线,则以其为准。
阶段2 节拍与旁白:由视频决定分镜数量,按自然节拍每拍一格,不要默认四格或 2×2。每拍写一到两句短旁白,并维护一行角色/场景设定以保持一致性。
阶段3 设计版面再绘制:默认由你设计贴合故事的版面并指定各格目标宽高比,用 Gemini 按比例生成每格,再用 PIL 合成。备选:一次性整页生成,或统一网格。图像模型用 gemini-3-pro-image(无 Gemini 3.5 图像模型,勿用 gemini-2.5-flash-image)。每格绘制四规则:锚定真实静帧、显式声明连续性、用负面约束限定生物、锁定旁白框文字。图像调用较慢,建议分离脚本并行并轮询。
阶段4 质检与合成:发布前必须逐格查看,本地查看器不可用时改用 Gemini 视觉质检;检查主体、场景一致性、旁白逐字无杂字与重复词、生物是否正确,仅重生成失败格。用 PIL 按设计版面合成,先裁掉各格自带边框再统一描边,cover-fit 放入框内,加标题带后保存并展示。
限制:依赖上述外部技能与凭据;图像模型调用慢;需人工核对画面,避免虚构。