用途
该技能用于把视频或播客链接转成完整文字稿和结构化摘要。用户发送媒体链接后,技能自动识别平台并选择对应处理流程。
主要能力
- 支持平台:YouTube、Bilibili、X/Twitter 视频、小宇宙播客、Apple Podcasts,以及 mp3、mp4、m3u8、m4a、webm 等直链媒体。
- 字幕优先:YouTube 和 Bilibili 优先尝试提取自动字幕;没有字幕时下载音频并用 Whisper 转写。
- 自动触发:检测到上述平台 URL 或媒体扩展名时自动启动。
- 结构化摘要:视频(≤20 分钟)输出概览、关键点、金句和行动项;播客(>20 分钟)增加按主题分段的章节摘要。
- 大文件处理:音频超过 25MB 时用 ffmpeg 按 10 分钟分段,逐段转写后拼接结果。
使用方式
用户只需发送媒体链接。技能按以下流程执行:
- 识别媒体类型与平台,选择对应管线。
- 优先提取字幕(YouTube/Bilibili);无字幕则下载音频。
- 小宇宙从页面 NEXT_DATA 提取 CDN 音频直链;Apple Podcasts 通过 yt-dlp 下载;Bilibili 使用官方 API 获取音频流并用 ffmpeg 转 mp3。
- 检查音频大小,超过 25MB 则分段。
- 调用 Groq Whisper 转写,默认模型 whisper-large-v3-turbo,可指定语言(中文 zh / 英文 en)或自动检测。
- 按视频或播客模板生成摘要。
依赖与前提
- yt-dlp:视频下载与字幕提取。
- ffmpeg:音频转换与分段。
- curl:小宇宙音频下载与 Bilibili API 调用。
- GROQ_API_KEY 环境变量:Whisper 转写 API,可在 https://console.groq.com/keys 免费获取。
限制
- Groq Whisper 单次请求最大 25MB;免费额度为每小时 7200 秒音频(滚动窗口),约每天 20 小时。
- 超过 2 小时的播客会提示用户确认后再处理。
- Groq 524 超时时不要并行转写,应顺序处理并在段间等待 5-8 秒;429 限流时按 retry-after 等待后重试。
- Spotify 链接因 DRM 保护不支持。
- Bilibili 使用 yt-dlp 可能返回 412,此时改用 Bilibili API;YouTube 可能触发机器人检测,可加 --cookies-from-browser chrome。
- 小宇宙 curl 提取失败时,回退用 Puppeteer/浏览器获取渲染后页面。
- 转写语言默认中文,英文内容需指定 language=en,或不传语言参数自动检测。
输出格式
视频摘要包含标题、时长、语言、概览、关键点、金句(含时间戳)和行动项。播客摘要额外包含节目名、集数、嘉宾、章节摘要(含时间范围)等字段。