用途:处理基于 AI 模型的音频任务,与 FFmpeg 原生音频操作(loudnorm、EQ、压缩、去静音、混音)的 claude-video-audio 子技能区分使用。
主要能力:
- 音源分离(Demucs v4):分离人声、鼓、贝斯等,常用 --stems vocals,--stems all 输出四轨;htdemucs_ft 质量最佳需 7GB 显存,htdemucs 更快需 5GB。
- 说话人分离(pyannote-audio 4.0):识别谁在何时说话,可配合 WhisperX 生成带说话人标签的文本,输出 speakers.json;需 HuggingFace token(HF_TOKEN 或 --hf-token)。
- AI 降噪(DeepFilterNet3):优于 FFmpeg afftdn,显存占用小于 1GB;未安装时回退到 ffmpeg -n -i "$INPUT" -af "afftdn=nf=-25:nt=w" -c:v copy "$OUTPUT"。
- TTS 配音:支持 ElevenLabs(需 ELEVENLABS_API_KEY)、OpenAI(需 OPENAI_API_KEY)、Bark(本地免费,需 12GB 显存)。
- 音频升采样(AudioSR):将 8-16kHz 电话音质提升至 24kHz 带宽、48kHz 采样率,需 6-8GB 显存。
使用方式:先执行 source ~/.video-skill/bin/activate 激活虚拟环境,再用 python3 scripts/audio_enhance.py 加子命令(separate、diarize、denoise、tts、upsample)运行;可用 nvidia-smi --query-gpu=memory.free --format=csv,noheader,nounits 查看空闲显存。
限制:各模型按需加载并在处理后卸载;Bark 需独占 12GB 显存;API 类 TTS 会产生费用,生成前须确认;不得覆盖源音频文件;长音频使用重型模型时处理时间较长。具体模型细节与 API 配置见 references/audio-enhance.md。