用途:从 YouTube 视频提取字幕文本和元数据,按合适粒度分块后导入 RAG 知识库,便于检索教程、讲座与讲解类内容。
主要能力:支持手动字幕与自动生成字幕提取;提供时间分块、主题分块、语义分块三种策略;可采集单个视频、播放列表和频道近期视频;为每个分块附加视频标题、频道、上传日期、时长、起止时间戳、分块序号等元数据。
使用方式:先安装依赖,pip install yt-dlp、pip install youtube-transcript-api,可选音频转写回退 pip install openai-whisper。推荐用 youtube-transcript-api 获取带时间戳的干净字幕;批量处理或 API 受限时可用 yt-dlp 下载字幕,命令示例:yt-dlp --write-auto-sub --sub-lang en --sub-format vtt --skip-download --output "$OUTPUT_DIR/%(title)s.%(ext)s" "$VIDEO_URL"。随后调用 harvest_youtube_video、harvest_youtube_playlist 或 harvest_youtube_channel 完成采集与入库。
适用场景:将教学视频、课程播放列表、频道内容整理为可检索的 RAG 语料。
限制:无字幕的视频无法提取;私密、已删除或年龄受限视频可能失败;可能遇到速率限制或 API 配额超限,需退避重试或改用 yt-dlp;语义分块依赖 sentence-transformers 等额外依赖。具体收费、平台支持范围与效果资料暂未提供。