用途:通过阿里云 DashScope API 与 LingMou SDK 生成 AI 视频与语音,覆盖数字人说话头、全身动画、文生图、图生视频、语音合成和模板化播报。
主要能力:LivePortrait(人像+音频/视频→说话视频,两步:liveportrait-detect 同步检测、liveportrait 异步生成);EMO(人像+音频→说话头,检测+生成);AnimateAnyone(全身动画:检测→动作模板→视频,三步);T2I(文生图,默认 wan2.2-t2i-flash);I2V(图生视频,支持 T2I→I2V 管线,默认 wan2.7-i2v-flash);Qwen TTS(文生语音,按场景自动选模型与音色);LingMou(模板化数字人播报视频)。
使用方式:先安装依赖 pip install requests==2.33.1 dashscope==1.25.15 oss2==2.19.1 numpy==1.26.4,LingMou 另需 pip install alibabacloud-lingmou20250527==1.7.0 alibabacloud-tea-openapi==0.4.4;配置 DASHSCOPE_API_KEY、ALIBABA_CLOUD_ACCESS_KEY_ID、ALIBABA_CLOUD_ACCESS_KEY_SECRET、OSS_BUCKET、OSS_ENDPOINT 环境变量。各能力通过 scripts 下对应 Python 脚本调用,如 python scripts/live_portrait.py --image ./portrait.jpg --audio ./speech.mp3 --template normal --download。
适用场景:已有音频/视频的说话头用 LivePortrait;无音频先 Qwen TTS 再 LivePortrait;全身舞蹈/动作选 AnimateAnyone;文生图选 T2I;图生视频选 I2V;端到端文生视频走 T2I→I2V;企业数字人/模板新闻用 LingMou。
限制:cn-beijing 与新加坡的 API Key 不可互换,需按区域使用;LivePortrait 音频需 wav/mp3、小于 15MB、1 秒至 3 分钟;AnimateAnyone 要求单人全身正面、宽高比 0.5–2.0,视频 fps≥24、2–60 秒;LingMou 复制公共模板后可能仍为草稿,需在 LingMou 中补全;若用户仅提供图片并要求说话视频而未给文案,需先确认口播文案。其余未在资料中说明的收费、价格与效果暂未提供。