SuperAPI AI 工具集

dreamina-video

设计与创作

查看项目

更新于 10-15 09:56

技能介绍

Dreamina 说话照片视频生成技能用于把静态人像照片转化为音频驱动的数字人视频。它通过 AceDataCloud 的 Dreamina API 调用字节跳动 OmniHuman 1.5 模型,输入一张人像图片和一段驱动音频,输出唇形同步的说话照片视频。

主要能力

  • 音频驱动唇形同步:根据提供的音频生成人物说话的视频。
  • 模型:omnihuman-1.5,为默认且唯一可用的模型,由字节跳动 OmniHuman 1.5 提供音频驱动的唇形同步数字人能力。
  • 多人物遮罩:当图片中有多个人物时,可通过 mask_url 数组传入主体遮罩 URL,指定要驱动的特定人物。
  • 提示词控制:prompt 参数用于引导表情、情绪、稳定性与风格。
  • 异步与回调:支持 async 立即返回任务 ID 供轮询,也支持 callback_url 通过 Webhook 接收结果。

使用方式 调用 POST https://api.acedata.cloud/dreamina/videos 创建任务,请求头需包含 Authorization 与 Content-Type: application/json。基础请求体包含 image_url 与 audio_url,可选 model、prompt、mask_url、callback_url、async。示例:

curl -X POST https://api.acedata.cloud/dreamina/videos
-H "Authorization: ******"
-H "Content-Type: application/json"
-d '{ "image_url": "https://example.com/portrait.jpg", "audio_url": "https://example.com/voiceover.mp3", "async": true }'

响应包含 task_id。随后轮询结果:

curl -X POST https://api.acedata.cloud/dreamina/tasks
-H "Authorization: ******"
-H "Content-Type: application/json"
-d '{"action": "retrieve", "id": "<task_id>"}'

异步模式下持续轮询 POST /dreamina/tasks,直到 response.data.status 等于 "done"。

参数说明

  • image_url(必填):人像图片 URL,公开可访问,清晰正面人脸效果最佳。
  • audio_url(必填):驱动音频 URL,支持 mp3/wav,需公开可访问,建议控制在 60 秒以内。
  • model:使用的模型,默认 omnihuman-1.5。
  • prompt:字符串,引导表情、情绪、稳定性与风格。
  • mask_url:URL 数组,用于在多人物图片中指定特定人物。
  • callback_url:用于结果投递的 Webhook 地址。
  • async:布尔值,为 true 时立即返回任务 ID 供轮询。

任务查询

  • 单个任务:POST /dreamina/tasks,body 为 {"action": "retrieve", "id": "<task_id>"}。
  • 按 trace_id 查询:POST /dreamina/tasks,body 为 {"action": "retrieve", "trace_id": "<trace_id>"}。
  • 批量查询:POST /dreamina/tasks,body 为 {"action": "retrieve_batch", "ids": ["<id1>", "<id2>"]}。
  • 当 response.data.status 为 "done" 时,完成响应中包含 response.data.video_url。

适用场景

  • 将人像照片配上配音音频,生成说话照片视频。
  • 数字人口播、音频驱动的人物动画等需要唇形同步的场景。
  • 多人物合影中针对某一人物单独驱动。

限制与注意事项

  • image_url 与 audio_url 均为必填。
  • 人像应为清晰、光照良好、正面朝向且面部无遮挡的图片。
  • 音频必须公开可访问,控制在 60 秒以内(1080p 质量建议不超过 30 秒)。
  • 较长任务建议使用 async: true 或 callback_url,同步模式可能超时。
  • mask_url 仅在多人物图片中需要针对某一特定人物时使用。
  • 轮询时检查 response.data.status,终止状态为 "done"。
  • 按输出视频时长计费。
  • 认证令牌设置参见 authentication 文档;工具调用集成参见 MCP servers 文档。